Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Barge-in
Barge-In ermöglicht es Benutzern, den KI-Assistenten zu unterbrechen, während er spricht, genau wie bei natürlichen menschlichen Gesprächen. Anstatt darauf zu warten, dass der Assistent fertig ist, können Benutzer neue Informationen eingeben, ihre vorherige Aussage korrigieren oder klarstellen, die Konversation zu einem anderen Thema weiterleiten oder den Assistenten einfach beenden, wenn sie genug gehört haben. Dies sorgt für ein natürlicheres und reaktionsschnelleres Konversationserlebnis.
Das folgende Diagramm veranschaulicht den gesamten Gesprächsablauf:
So geht Amazon Nova 2 Sonic mit Barge-In um
Amazon Nova 2 Sonic ist so konzipiert, dass es problemlos mit Unterbrechungen umgeht. Wenn der Benutzer während einer Antwort zu sprechen beginnt, beendet das System sofort die Generierung der aktuellen Antwort, behält den vollständigen Konversationskontext bei, sendet ein Unterbrechungssignal an den Client und beginnt mit der Verarbeitung der neuen Benutzereingabe.
Kontexterhaltung: Selbst bei einer Unterbrechung erinnert sich Nova Sonic an das, was vor der Unterbrechung gesagt wurde, an das besprochene Thema, den Gesprächsverlauf und an jeden relevanten Kontext aus früheren Runden. Dadurch wird sichergestellt, dass die Konversation kohärent und natürlich bleibt.
Implementierungsanforderungen auf Kundenseite
Amazon Nova 2 Sonic kümmert sich zwar serverseitig um Barge-In, aber Sie müssen für ein vollständiges Erlebnis die clientseitige Logik implementieren.
Die Herausforderung bei der Audiowarteschlange: Die Audiogenerierung ist schneller als die Wiedergabegeschwindigkeit. Das bedeutet Folgendes:
-
Nova Sonic generiert schnell Audioblöcke
-
Ihr Kunde empfängt diese Chunks und stellt sie in die Warteschlange
-
Der Kunde spielt sie mit normaler Sprechgeschwindigkeit ab
-
Wenn ein Barge-In auftritt, befindet sich der Ton bereits in der Warteschlange für die Wiedergabe
Erforderliche clientseitige Logik: Ihre Anwendung muss vier wichtige Schritte ausführen:
-
Erkennen Sie das Unterbrechungssignal: Achten Sie auf das Unterbrechungsereignis von Nova Sonic und reagieren Sie sofort, wenn es empfangen wird.
-
Aktuelle Wiedergabe beenden: Unterbrechen Sie die aktuelle Audiowiedergabe und beenden Sie alle Audiodateien, die sich während der Wiedergabe befinden.
-
Audiowarteschlange löschen: Entferne alle Audioblöcke in der Warteschlange und verwerfe alle gepufferten Audiodateien aus der unterbrochenen Antwort.
-
Neues Audio starten: Beginnt mit der Wiedergabe des neu empfangenen Audios und setzt den normalen Wiedergabefluss fort.
