Transcrição ao vivo

// No navegador, com o microfone. O token vem do seu backend (POST /v1/tokens com o escopo stt).
const { token } = await (await fetch("/int8/token", { method: "POST" })).json();
const microfone = await navigator.mediaDevices.getUserMedia({ audio: { channelCount: 1, echoCancellation: true } });
const contexto = new AudioContext(); // a taxa do aparelho (44100 ou 48000); o servidor reamostra
await contexto.resume(); // chame dentro de um clique; sem gesto do usuário o navegador deixa o contexto suspenso
const ws = new WebSocket(`wss://api.int8labs.com/v1/stt/stream?token=${encodeURIComponent(token)}`);
​
// Um AudioWorklet pequeno: junta 100 ms de som e entrega em PCM16 LE.
const worklet = `
class Pcm16 extends AudioWorkletProcessor {
  constructor() { super(); this.amostras = []; }
  process([entrada]) {
    for (const s of entrada[0] ?? []) this.amostras.push(Math.max(-1, Math.min(1, s)) * 0x7fff);
    if (this.amostras.length >= sampleRate / 10) {
      const pcm = Int16Array.from(this.amostras).buffer;
      this.port.postMessage(pcm, [pcm]);
      this.amostras = [];
    }
    return true;
  }
}
registerProcessor("pcm16", Pcm16);`;
await contexto.audioWorklet.addModule(URL.createObjectURL(new Blob([worklet], { type: "text/javascript" })));
const pcm16 = new AudioWorkletNode(contexto, "pcm16");
​
ws.onopen = () => {
  ws.send(JSON.stringify({ type: "start", sample_rate: contexto.sampleRate, encoding: "pcm_s16le", keyterms: ["Dra. Helena Prado"] }));
};
ws.onmessage = ({ data }) => {
  const evento = JSON.parse(data);
  if (evento.type === "ready") {
    contexto.createMediaStreamSource(microfone).connect(pcm16);
    pcm16.port.onmessage = ({ data: pedaco }) => ws.readyState === WebSocket.OPEN && ws.send(pedaco);
  }
  if (evento.type === "partial") mostrarRascunho(evento.segment, evento.text);
  if (evento.type === "final") fixarFrase(evento.segment, evento.text, evento.start_ms, evento.end_ms);
  if (evento.type === "done") console.log(`${evento.audio_ms} ms de áudio, R$ ${evento.cost_brl}`);
  if (evento.type === "error") console.error(evento.code, evento.message);
};
​
// Para parar: ws.send(JSON.stringify({ type: "stop" })) e microfone.getTracks().forEach((t) => t.stop()).
function mostrarRascunho(segmento, texto) {
  // troque o rascunho do segmento na tela
}
function fixarFrase(segmento, texto, inicioMs, fimMs) {
  // fixe a frase do segmento, em tinta
}

import asyncio
import json
import os
import wave
​
import websockets  # pip install "websockets>=14"
​
PEDACO_MS = 100
​
​
async def transcrever(caminho: str) -> None:
    with wave.open(caminho, "rb") as wav:
        assert wav.getsampwidth() == 2 and wav.getnchannels() == 1, "precisa de PCM16 mono"
        taxa = wav.getframerate()  # 8000, 16000, 24000, 44100 ou 48000
        amostras = wav.readframes(wav.getnframes())
​
    async with websockets.connect(
        "wss://api.int8labs.com/v1/stt/stream",
        additional_headers={"Authorization": f"Bearer {os.environ['INT8_API_KEY']}"},
    ) as ws:
        await ws.send(json.dumps({"type": "start", "sample_rate": taxa, "encoding": "pcm_s16le"}))
        assert json.loads(await ws.recv())["type"] == "ready"
​
        async def enviar() -> None:
            passo = taxa * PEDACO_MS // 1000 * 2  # bytes de 100 ms
            for inicio in range(0, len(amostras), passo):
                await ws.send(amostras[inicio : inicio + passo])
                await asyncio.sleep(PEDACO_MS / 1000)  # no ritmo da fala; mais rápido fecha com 4429
            await ws.send(json.dumps({"type": "stop"}))
​
        envio = asyncio.create_task(enviar())
        async for mensagem in ws:
            evento = json.loads(mensagem)
            if evento["type"] == "final":
                print(f'[{evento["start_ms"]} ms] {evento["text"]}')
            elif evento["type"] == "done":
                print("custo R$", evento["cost_brl"])
            elif evento["type"] == "error":
                print("erro:", evento["code"], evento["message"])
        await envio
​
​
asyncio.run(transcrever("reuniao.wav"))