本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
使用 Amazon Nova Sonic Speech-to-Speech模型
Amazon Nova Sonic 模型透過雙向音訊串流提供即時的對話互動。Amazon Nova Sonic 會在即時語音發生時處理和回應，實現自然、類似人類的對話體驗。
Amazon Nova Sonic 透過統一的語音理解和產生架構，提供對話式 AI 的轉換方法。這個state-of-the-art基礎模型擁有業界領先的價格效能，可讓企業建置語音體驗，保持自然和情境感知。
主要功能和特徵
-
State-of-the-art串流 API 功能的先進串流語音理解，可實現即時、低延遲的多迴轉對話。
-
自然、類似人類的對話式 AI 體驗提供內容豐富的所有支援語言。
-
適應性語音回應，可根據輸入語音的主體動態調整交付。
-
優雅地處理使用者中斷，而不會捨棄對話內容。
-
使用擷取增強生成 (RAG) 的企業資料知識基礎。
-
函數呼叫和代理工作流程支援建置複雜的 AI 應用程式。
-
真實世界部署案例的強大背景雜訊。
-
識別所有支援語言的不同說話風格。
主題
Amazon Nova Sonic 架構
Amazon Nova Sonic 透過雙向串流 API 實作事件驅動型架構，實現即時對話體驗。以下是 API 的關鍵架構元件：
-
雙向事件串流：Amazon Nova Sonic 使用持久性雙向連線，允許雙向同時串流事件。與傳統的請求-回應模式不同，此方法允許下列項目：
從使用者到模型的持續音訊串流
並行語音處理和產生
即時模型回應，無需等待完整的表達用語
-
事件驅動的通訊流程：整個互動遵循事件型通訊協定，其中
用戶端和模型交換結構化 JSON 事件
事件控制工作階段生命週期、音訊串流、文字回應和工具互動
每個事件在對話流程中都有特定角色
雙向串流 API 包含這三個主要元件：
-
工作階段初始化：用戶端會建立雙向串流並傳送組態事件。
-
音訊串流：使用者音訊會持續擷取、編碼和串流為模型的事件，以持續處理語音。
-
回應串流：音訊送達時，模型會同時傳送事件回應：
使用者語音的文字轉錄 (ASR)
用於函數呼叫的工具使用事件
模型的文字回應
語音輸出的音訊區塊
下圖提供雙向串流 API 的高階概觀。
