Processamento de eventos de saída com a API bidirecional

Quando o modelo Amazon Nova Sonic responde, ele segue uma sequência estruturada de eventos. O fluxo começa com um evento completionStart que contém identificadores exclusivos, como sessionId, promptName e completionId. Esses identificadores são consistentes em todo o ciclo de resposta e unem todos os eventos de resposta subsequentes.

Cada tipo de resposta segue um padrão consistente de três partes: contentStart define o tipo e o formato do conteúdo, o evento real do conteúdo e contentEnd conclui esse segmento. A resposta normalmente inclui vários blocos de conteúdo em sequência: transcrição do reconhecimento automático de fala (ASR) (o que o usuário disse), uso opcional de ferramentas (quando informações externas são necessárias), resposta de texto (o que o modelo planeja dizer) e resposta de áudio (a saída falada).

A transcrição do ASR aparece primeiro, fornecendo a compreensão do modelo sobre a fala do usuário com role: "USER" e "additionalModelFields": "{\"generationStage\":\"FINAL\"}" no contentStart. Quando o modelo precisa de dados externos, ele envia eventos relacionados à ferramenta com nomes e parâmetros específicos da ferramenta. A resposta de texto fornece uma prévia do discurso planejado com role: "ASSISTANT" e "additionalModelFields": "{\"generationStage\":\"SPECULATIVE\"}". A resposta de áudio então fornece trechos de fala codificados no Base64 que compartilham o mesmo contentId em todo o streaming.

Durante a geração de áudio, o Amazon Nova Sonic é compatível com o fluxo natural de conversação por meio de seu recurso de barge-in. Quando um usuário interrompe o Amazon Nova Sonic enquanto ele está falando, o Nova Sonic imediatamente para de gerar fala, muda para o modo de escuta e envia uma notificação de conteúdo indicando que a interrupção ocorreu. Como o Nova Sonic opera mais rápido do que em tempo real, o áudio pode já ter sido entregue, mas ainda não foi reproduzido. A notificação de interrupção permite que a aplicação cliente limpe sua fila de áudios e interrompa a reprodução imediatamente, criando uma experiência conversacional responsiva.

Depois que a geração de áudio é concluída (ou interrompida via barge-in), o Amazon Nova Sonic fornece uma resposta de texto adicional que contém uma transcrição em nível de frase do que foi realmente falado. Essa resposta de texto inclui um evento contentStart com role: "ASSISTANT" e "additionalModelFields": "{\"generationStage\":\"FINAL\"}".

Durante todo o tratamento da resposta, eventos usageEvent são enviados para rastrear o consumo de tokens. Esses eventos contêm métricas detalhadas para tokens de entrada e de saída (tanto de fala quanto de texto) e seus totais acumulados. Cada usageEvent mantém o mesmo sessionId, promptName e completionId que outros eventos no fluxo da conversa. A seção de detalhes fornece as alterações incrementais (delta) e os totais acumulados do uso de tokens, permitindo o monitoramento preciso do uso durante a conversa.

O modelo envia um evento completionEnd com os identificadores originais e um stopReason que indica como a conversa terminou. Essa hierarquia de eventos garante que a aplicação possa rastrear quais partes da resposta estão associadas e processá-las adequadamente, mantendo o contexto em vários turnos.

O fluxo de eventos de saída começa entrando na fase de geração de resposta. Ele começa com o reconhecimento automático de fala, seleciona uma ferramenta para uso, transcreve a fala, gera áudio, finaliza a transcrição e encerra a sessão.

Fluxo de eventos de saída

A estrutura do fluxo de eventos de saída é fornecida nesta seção.