本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon Nova 2 中的延伸思維
Amazon Nova 2 Lite 推出延伸的思維功能,讓模型能夠對複雜的問題進行更深入的推理。此選用功能可讓您控制模型配置其他運算資源的時間和方式,以仔細考慮具有挑戰性的任務。
延伸思考的運作方式
Amazon Nova 2 將延伸思維引入為混合功能。您可以完全控制:
-
延長思維關閉 (預設):Amazon Nova 2 以有效率的隱含推理運作,最適合日常任務和大量應用程式。
-
開啟擴展思維:Amazon Nova 2 採用明確的step-by-step推理,最適合需要深入分析的複雜問題。
合理努力
以下顯示不同程度的推理工作。
低工作量 (maxReasoningeffort:"low")
最適合:具有額外複雜性的任務需要結構化思考。例如,您可以將此用於程式碼檢閱和改進建議,其中模型需要仔細考慮現有的程式碼品質、需要考慮多個因素的分析任務,或受益於系統化方法的問題解決案例。低工作量適用於複合任務,其中基本推理可提高準確性,而不需要深入的多步驟規劃。
中等努力 (maxReasoningEffort: "medium")
最適合:多步驟任務和編碼工作流程。例如,您可以將此用於軟體開發和偵錯,其中模型需要在實作變更之前了解現有的程式碼結構、需要跨多個檔案或元件進行協調的程式碼產生、具有相互依存性的多步驟計算,或規劃具有多個限制的任務。對於協調多個工具的代理程式工作流程而言,中等程度的工作量是最佳的,並且需要模型來維持數個循序操作的內容。
高工作量 (maxReasoningeffort:"high")
最適合:STEM 推理和進階問題解決。例如,您可以將此用於需要嚴格step-by-step驗證的進階數學問題和證據、需要深入調查的科學分析和研究任務、具有跨多個維度架構考量的複雜系統設計,或具有重大影響的關鍵決策案例。對於需要複雜推理的任務、仔細評估替代方案,以及徹底驗證結論,高度努力可提供最大的準確性。
快速入門:啟用延伸思考
延伸思考是透過 reasoningConfig 參數控制。
import boto3 bedrock = boto3.client('bedrock-runtime', region_name='us-east-1') response = bedrock.converse( modelId='us.amazon.nova-2-lite-v1:0', system=[{"text": "You are a highly capable personal assistant"}], messages=[{ "role": "user", "content": [{"text": "Provide a meal plan for a gluten free family of 4."}] }], inferenceConfig={ "temperature": 0.7, "topP": 0.9, "maxTokens": 10000 }, additionalModelRequestFields={ "reasoningConfig": { "type": "enabled", "maxReasoningEffort": "low" } } ) content_list = response["output"]["message"]["content"] for item in content_list: if "reasoningContent" in item: reasoning_text = item["reasoningContent"]["reasoningText"]["text"] print("=== REASONING ===") print(reasoning_text) print() elif "text" in item: print("=== ANSWER ===") print(item["text"])
原因參數:
-
type: enabled或disabled(預設:disabled) -
maxReasoningEffort:medium、low或high
注意
溫度、 topP 和 topK 無法與 maxReasoningEffort 設定為 搭配使用high。將這些參數一起使用會導致錯誤。
如需利用延伸思考的完整程式碼範例,請參閱 程式碼庫。
回應結構
當您啟用延伸思考時,回應會包含reasoningContent區塊,後面接著text內容區塊:
{ "output": { "message": { "role": "assistant", "content": [ { "reasoningContent": { "reasoningText": { "text": "[REDACTED]" } } }, { "text": "Based on the premises, we can conclude..." } ] } }, "stopReason": "end_turn" }
注意
使用 Amazon Nova 2,推理內容會顯示為 [REDACTED]。您仍需支付推理權杖的費用,因為它們有助於改善輸出品質。我們現在在回應結構中包含此欄位,以保留未來公開推理內容的選項。我們正積極與客戶合作,以判斷浮現模型推理程序的最佳方法。原因內容會顯示為 [REDACTED]。您仍需支付推理權杖的費用,因為它們有助於改善回應品質。
組態選項
Amazon Nova 2 引入了新的reasoningConfig參數,您可以將此參數新增至現有的衝突請求結構,以啟用推理:
additionalModelRequestFields={ "reasoningConfig": { "type": "enabled", # or "disabled" (default) "maxReasoningEffort": "high" # "low", "medium", or "high" } }
參數:
-
類型:在
"enabled"和 之間切換"disabled"(預設為"disabled") -
maxReasoningEffort:啟用時,控制推理深度 -
「低」:中等複雜的任務
-
"medium"":需要大量分析的複雜問題
-
"high"":高度複雜任務的最徹底推理
注意
使用 時"high",必須取消設定 、temp、topP 和 maxToken。在此模式中,模型會執行更深入的分析,以尋找最佳解決方案。這種更徹底的處理可能會產生超過 65,000 個字符的輸出。確切數量取決於請求的複雜性,但對於某些問題,我們看到它高達 128K0 個字符。這可確保獲得完整、高品質的推理,而不是截斷的結果。
支援的模型
擴展思維目前可用於:Amazon Nova 2 Lite (us.amazon.nova-2-lite-v1:0)
工具使用的延伸思考
延伸思維可與工具呼叫無縫搭配運作,讓 Amazon Nova 能夠推斷要使用哪些工具,以及如何解譯其結果。
了解字符和定價的原因
字符類型
延伸思維權杖會以輸出權杖計費:
-
輸入字符:您的原始請求內容 (標準輸入定價)
-
輸出字符:這包括推理字符和最終可見回應內容 (標準輸出定價)
用量明細
這三種字符類型都包含在用量指標和帳單中。原因字符的價格與輸出字符相同,並在模型回應中顯示為「已刪除」。
{ "usage": { "inputTokens": 45, "outputTokens": 1240, "totalTokens": 1285 } }
常見問答集
- 為什麼 Amazon Nova 2 Lite 顯示推斷內容的「【REDACTED】」而不是顯示模型的思考程序?
-
我們此次啟動的主要重點是確保 Nova 2 為您的任務提供同級最佳的智慧,並且您會看到這一點反映在提高的準確性中。
我們了解推理程序的可見性很有價值,而且我們聽說客戶對於了解模型如何看待問題有強烈的興趣。
我們即將探討提供此功能的方法。
您仍需支付推理權杖的費用,因為它們代表可改善輸出品質的實際工作
將與答案字符
outputTokens一起在 中擷取。 - 如果修改推理,如何知道延伸思考是否有效?
-
您可以透過檢查回應中
reasoningContent區塊的輸出來確認延伸思維是否正常運作 (只有在啟用推理時才會顯示)