對工具呼叫進行故障診斷 - Amazon Nova

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

對工具呼叫進行故障診斷

使用工具和 Amazon Nova 模型時，您可能會看到不同的錯誤。以下是幾個可協助您進行故障診斷的範例和秘訣。

An error occurred (ModelErrorException) when calling the Converse operation: The model produced an invalid sequence as part of ToolUse. Please refer to the model tool use troubleshooting guide.

驗證您的推論參數 - Amazon Nova 模型在使用貪婪解碼時，呼叫工具更成功。若要啟用貪婪解碼，請將溫度參數設定為 0。

inferenceConfig={
    "temperature": 0
}

additionalModelRequestFields={"inferenceConfig": {"topK": 1}}

增加權杖計數上限 - 工具輸出通常需要大型權杖輸出，確保權杖集上限足以容納預期的傳回結構描述。如果模型回應大於字符計數上限，則會觸發例外狀況。您可以在 inferenceConfig 參數中設定權杖上限：

inferenceConfig={
    "maxTokens": 3000
}

檢閱系統提示 - 為了改善工具呼叫的準確性，Amazon Nova 會在chain-of-thought推理。您會在回應中以 <thinking> 標籤看到此輸出。我們不建議嘗試移除此功能。反之，如果您的應用程式不需要輸出，建議您捨棄輸出。

An error occurred (ValidationException) when calling the Converse operation

傳遞的工具組態不符合必要的慣例。如需所有參數的規格，請參閱 Converse API 規格。

如果模型似乎忽略了工具，請確保您遵循工具組態的正確 JSON 結構描述：

如果未如預期傳回工具，建議利用 tool_choice API 參數。

  • 工具：指定的工具將呼叫一次。

    {
   "toolChoice": {
        "tool": {
            "name": "name_of_tool"
        }
    }
}

  • 任何：提供的其中一個工具至少會呼叫一次。

    {
   "toolChoice": {
        "any": {}
    }
}