Gestione degli eventi di output con l'API bidirezionale

Quando il modello Amazon Nova Sonic risponde, segue una sequenza di eventi strutturata. Il flusso inizia con un completionStart evento che contiene identificatori univoci comesessionId, promptName e. completionId Questi identificatori sono coerenti per tutto il ciclo di risposta e uniscono tutti gli eventi di risposta successivi.

Ogni tipo di risposta segue uno schema coerente in tre parti: contentStart definisce il tipo e il formato del contenuto, l'evento di contenuto effettivo e contentEnd chiude il segmento. La risposta include in genere più blocchi di contenuto in sequenza: riconoscimento vocale automatico (ASR), trascrizione (ciò che ha detto l'utente), uso opzionale di strumenti (quando sono necessarie informazioni esterne), risposta testuale (ciò che il modello intende dire) e risposta audio (l'output vocale).

La trascrizione ASR viene visualizzata per prima e consente al modello di comprendere il discorso dell'utente con e nel. role: "USER" "additionalModelFields": "{\"generationStage\":\"FINAL\"}" contentStart Quando il modello necessita di dati esterni, invia eventi relativi all'utensile con nomi e parametri specifici degli strumenti. La risposta testuale fornisce un'anteprima del discorso pianificato con role: "ASSISTANT" e. "additionalModelFields": "{\"generationStage\":\"SPECULATIVE\"}" La risposta audio fornisce quindi blocchi vocali codificati in base 64 che condividono le stesse durante lo streaming. contentId

Durante la generazione di audio, Amazon Nova Sonic supporta un flusso di conversazione naturale grazie alla sua funzionalità barge-in. Quando un utente interrompe Amazon Nova Sonic mentre sta parlando, Nova Sonic interrompe immediatamente la generazione del parlato, passa alla modalità di ascolto e invia una notifica di contenuto indicante che l'interruzione si è verificata. Poiché Nova Sonic funziona più velocemente del tempo reale, parte dell'audio potrebbe essere già stata trasmessa ma non ancora riprodotta. La notifica di interruzione consente all'applicazione client di cancellare la coda audio e interrompere immediatamente la riproduzione, creando un'esperienza di conversazione reattiva.

Una volta completata la generazione dell'audio (o interrotta tramite barge-in), Amazon Nova Sonic fornisce una risposta testuale aggiuntiva che contiene una trascrizione a livello di frase di ciò che è stato effettivamente pronunciato. Questa role: "ASSISTANT" risposta "additionalModelFields": "{\"generationStage\":\"FINAL\"}" testuale include un evento con e. contentStart

Durante la gestione della risposta, vengono inviati usageEvent eventi per tenere traccia del consumo di token. Questi eventi contengono metriche dettagliate sui token di input e output (sia vocali che testuali) e i relativi totali cumulativi. Ciascuno usageEvent mantiene gli stessi eventi sessionId e completionId quelli degli altri nel flusso di conversazione. promptName La sezione dei dettagli fornisce sia le modifiche incrementali (delta) che i totali correnti dell'utilizzo dei token, consentendo un monitoraggio preciso dell'utilizzo durante la conversazione.

Il modello invia un completionEnd evento con gli identificatori originali e un stopReason che indica come è terminata la conversazione. Questa gerarchia di eventi garantisce che l'applicazione possa tenere traccia delle parti della risposta che coincidono tra loro ed elaborarle di conseguenza, mantenendo il contesto della conversazione in più turni.

Il flusso degli eventi in uscita inizia entrando nella fase di generazione della risposta. Inizia con il riconoscimento vocale automatico, seleziona uno strumento da utilizzare, trascrive il parlato, genera audio, finalizza la trascrizione e termina la sessione.

Flusso degli eventi di output

La struttura del flusso di eventi di output è descritta in questa sezione.