工具選擇最佳實務 - Amazon Nova

工具選擇最佳實務

使用 Amazon Nova Sonic 實作工具時,建議您遵循下列最佳實務,以確保最佳效能:

  • 保持結構描述的結構簡單:盡可能將最上層鍵限制為 3 個或更少。

  • 建立不同的參數名稱:在類似的參數之間使用清晰、語義上不同的名稱,以避免混淆 (也就是說,如果它們具有不同的用途,則不要同時使用「product_id」和「cart_item_id」)。

  • 提供詳細的工具描述:明確描述每個工具的用途,以及何時應使用它來協助模型選取適當的工具。

  • 精確定義輸入結構描述:指定參數類型並包含每個參數的描述。明確指出必填與選用的參數。

  • 監控上下文長度:隨著上下文接近較大詞元數 (即大約 50K 個詞元),工具效能可能會降低。使用較長上下文時,請考慮將複雜的任務分解成較小的步驟。

  • 實作錯誤處理:透過包含適當的後援行為,為工具執行失敗的情況做好準備。

  • 徹底測試:在部署之前,驗證您的工具可跨各種輸入和邊緣案例運作。

  • 貪婪解碼參數:將工具使用的溫度值設定為 0。

我們建議您避免下列常見問題:

  • 當您遇到遵循 JSON 結構描述失敗的情況時,您可能需要簡化您的結構描述的結構或提供更清楚的指示。

  • 請注意,模型可能會省略可改善結果的選用參數 (例如查詢中的「限制」參數)。

透過遵循這些指導方針,您可以利用 Amazon Nova Sonic 模型工具使用功能的全部能力來建立強大的對話式 AI 應用程式,以存取外部資料來源並執行複雜的動作。