Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Modelldenken mit erweitertem Denken verstehen
Anmerkung
Diese Dokumentation bezieht sich auf Version 1. Informationen zur Verwendung von Extended Thinking in Version 2 finden Sie unter Extended Thinking.
Erweitertes Denken ist eine Umgebung, die es einem Modell ermöglicht, komplexe Probleme mit einer bestimmten Argumentationsphase anzugehen. In dieser Phase werden zunächst reasoningContent blockweise spezifische Argumentationsinhalte generiert, die eine schrittweise systemische Untersuchung eines Problems beinhalten. Anschließend reflektiert das Modell seine Argumentation und identifiziert mögliche Fehler oder alternative Lösungsansätze. Anschließend schließt es seine Antwort ab. Dies bietet eine klare endgültige Antwort und bietet gleichzeitig einen transparenten Einblick in den Prozess des Modells
Aufgrund der hohen Rechenanforderungen von Extended Thinking ermöglicht Nova die selektive Umsetzung eines hybriden Ansatzes. Das bedeutet, dass Sie bei komplexen, weniger zeitkritischen Abfragen auf erweitertes Denken umschalten können. Für Abfragen, die einfach sind oder eine schnelle Antwort erfordern, können Sie Extended Thinking deaktivieren, um die Belastung der Rechenressourcen zu reduzieren.
So funktioniert erweitertes Denken
Wenn erweitertes Denken aktiviert ist, erstellt Nova in seiner Antwort ReasoningContent-Blöcke, in denen es seinen internen Denkprozess ausgibt. Das Modell verwendet diese Argumentation als Grundlage für seine endgültige Textantwort und schafft so eine klare Trennung zwischen der Denkphase und der endgültigen Antwort.
Das Folgende ist eine API-Antwort mit reasoningContent Blöcken, gefolgt von Textinhaltsblöcken:
{ "output": { "message": { "role": "assistant", "content": [ { "reasoningContent": { "reasoningText": { "text": "Let me analyze this optimization problem systematically. First, I need to understand the constraints: 5 warehouses, 12 distribution centers, 200 retail locations, with a 50-mile maximum distance requirement. This is a classic facility location problem with distance constraints...", } } }, { "text": "Based on my analysis, I recommend implementing a two-phase optimization approach. Phase 1 should focus on clustering retail locations using k-means algorithm to identify natural distribution center catchment areas..." } ] } } }
Erweiterte Argumentation verwenden
Im Folgenden finden Sie ein Beispiel für einen Converse API-Aufruf mit aktiviertem Extended Reasoning:
import boto3 import json client = boto3.client("bedrock-runtime", region_name="us-east-1") # Enable extended thinking for complex problem-solving response = client.converse( modelId="amazon.nova-lite-1-5-v1:0", messages=[{ "role": "user", "content": [{"text": "I need to optimize a logistics network with 5 warehouses, 12 distribution centers, and 200 retail locations. The goal is to minimize total transportation costs while ensuring no location is more than 50 miles from a distribution center. What approach should I take?"}] }], inferenceConfig={ "maxTokens": 40000, "temperature": 0 }, additionalModelRequestFields={ "reasoningConfig": { "type": "enabled", "maxReasoningEffort": "high" } } ) # The response will contain reasoning blocks followed by the final answer for block in response["output"]["message"]["content"]: if "reasoningContent" in block: reasoning_text = block["reasoningContent"]["reasoningText"]["text"] print(f"Nova's thinking process:\n{reasoning_text}\n") elif "text" in block: print(f"Final recommendation:\n{block['text']}")
Wenn Sie das reasoningConfig Element ausschließen, deaktiviert das Modell standardmäßig das erweiterte Denken.
Konfigurationsoptionen für erweitertes Denken
Nova bietet über den ReasoningConfig-Parameter flexible Steuerungen für erweitertes Denkverhalten, sodass Sie die Zuweisung der Rechenleistung für die Inferenzzeit an Ihre spezifischen Bedürfnisse anpassen können.
Kontrolle über die Argumentation
Sie können erweiterte Denkfähigkeiten zwischen zwei Modi hin- und herschalten. Die Einstellung type auf disabled (Standardeinstellung) bedeutet, dass Nova effizientes latentes Denken verwendet und dabei im Hinblick auf Geschwindigkeit und Effizienz optimiert. Die Einstellung type auf enabled aktiviert Novas explizites erweitertes Denken mit einem sichtbaren Argumentationsprozess.
Stufen des Argumentationsaufwands
Wenn erweitertes Denken aktiviert ist, können Sie kontrollieren, wie viel Rechenaufwand Nova in den Argumentationsprozess investiert. Die Einstellung „maxReasoningEffortNiedrig“ eignet sich für mäßig komplexe Aufgaben, die zusätzliche Argumentation erfordern. Die mittlere Einstellung eignet sich gut für komplexe Probleme, die eine gründliche Analyse erfordern. Die hohe Einstellung ermöglicht die gründlichste Argumentation für hochkomplexe, facettenreiche Aufgaben, wobei bis zu 32.000 Argumentationszeichen verwendet werden.
{ "modelId": "amazon.nova-lite-1-5-v1:0", "inferenceConfig": { "maxTokens": 40000, "temperature": 0 }, "additionalModelRequestFields": { "reasoningConfig": { "type": "enabled", "maxReasoningEffort": "high" } } }
Anmerkung
Bei der Verwendung von low medium Einstellungen werden die Argumentationsinhalte gestreamt, da jedes Token bei der Verwendung generiert wird. ConverseStream Das high funktioniert jedoch anders und verwendet unterschiedliche Ansätze zur Verbesserung der Qualität, was dazu führt, dass der gesamte Inhalt der Argumentation in einem letzten Abschnitt ausgegeben wird. Dies kann die Zeit bis zum ersten Token erheblich verlängern und zusätzliche Arbeit auf Kundenseite erfordern, um eine effektive Verwaltung sicherzustellen.
Bewährte Methoden für erweitertes Denken
Identifizierung von Anwendungsfällen für erweitertes Denken
In diesem Abschnitt werden mögliche Anwendungsfälle behandelt, in denen Extended Reasoning anwendbar ist und nicht.
Anwendungsfälle, in denen erweitertes Denken anwendbar ist:
-
Komplexe Problemlösung — Mehrstufige mathematische Berechnungen und Beweise, algorithmische Herausforderungen, die systematische Ansätze erfordern, wissenschaftliche Analysen mit mehreren voneinander abhängigen Variablen und Finanzmodellierung mit komplexen Szenarien und Einschränkungen profitieren alle von der Fähigkeit des Modells, Probleme in einer speziellen Denkphase methodisch zu lösen.
-
Fortgeschrittene Programmieraufgaben: Umfangreiches Refactoring der Codebasis über mehrere Dateien und Abhängigkeiten hinweg, komplexe Debugging-Szenarien, die eine systematische Eliminierung von Möglichkeiten erfordern, ein Systemarchitekturdesign mit mehreren technischen Überlegungen und die Migrationsplanung für mehrere Dienste und Plattformen — alle profitieren von Novas Fähigkeit, den Problembereich umfassend zu durchdenken, bevor Lösungen vorgeschlagen werden.
-
Analytische Aufgaben — Dokumentenanalysen, die eine Synthese aus mehreren Quellen erfordern, strategische Planung mit konkurrierenden Prioritäten und Einschränkungen, Forschungsaufgaben, die die Bewertung widersprüchlicher Beweise erfordern, und Rechts- oder Compliance-Analysen, die eine sorgfältige Abwägung der Vorschriften erfordern, alle profitieren von der Fähigkeit des Modells, komplexe Informationen systematisch zu verarbeiten.
-
Mehrstufige Planung — Projektplanung mit Abhängigkeiten und Ressourcenbeschränkungen, Workflow-Design, das eine Optimierung anhand mehrerer Kriterien erfordert, Risikoanalysen, die die Bewertung mehrerer Szenarien erfordern, und Geschäftsprozessoptimierung, die eine systematische Bewertung erfordert, alle profitieren von den erweiterten Planungsmöglichkeiten von Nova.
Anwendungsfälle, in denen erweitertes Denken nicht anwendbar ist:
-
Einfache Fragen — Grundlegende Sachfragen wie „Was ist die Hauptstadt von Frankreich?“ , einfache Definitionen wie „Wofür steht API?“ , einfache Berechnungen, die grundlegende Arithmetik beinhalten, und das direkte Abrufen von Informationen aus dem bereitgestellten Kontext funktionieren alle effizient mit Novas Standardmodus für latentes Denken.
-
Geschwindigkeitskritische Anwendungen — Chat-Anwendungen in Echtzeit, bei denen es auf Latenz ankommt, hochfrequente API-Aufrufe in Produktionssystemen, einfache Inhaltsgenerierung für umfangreiche Anwendungsfälle und grundlegende Klassifizierungs- oder Stimmungsanalyseaufgaben profitieren alle von den schnelleren Reaktionszeiten latenter Argumentation.
-
Kostensensible Workloads — Verarbeitung mit hohem Volumen, bei denen Geschwindigkeit und Kosten wichtiger sind als die Tiefe der Argumentation, einfache Automatisierungsaufgaben mit einfacher Logik, grundlegende Inhaltsmoderation oder Filterung sowie routinemäßige Datenverarbeitung und -transformation erfordern in der Regel nicht den zusätzlichen Rechenaufwand, der durch erweitertes Denken entsteht.
Auswahl der Stufen des Argumentationsaufwands
-
Niedrig — Eignet sich optimal für Codeüberprüfungen und Verbesserungsvorschläge, für grundlegende Analyseaufgaben, die zusätzliche Überlegungen erfordern, für einfache Problemlösungen, die von einem strukturierten Ansatz profitieren, und für die meisten day-to-day Entwicklungsaufgaben mit mäßiger Komplexität. Diese Stufe bietet eine sinnvolle Verbesserung der Argumentation bei gleichzeitiger Beibehaltung angemessener Kosten- und Latenzeigenschaften.
-
Mittel — Eignet sich gut für komplexe Debugging-Szenarien, die systematische Untersuchungen, mehrstufige Berechnungen mit wechselseitigen Abhängigkeiten, moderate Planungsaufgaben mit mehreren Einschränkungen und Analysen, die die Bewertung mehrerer Alternativen erfordern, erfordern. Diese Stufe bietet eine umfangreiche Argumentationstiefe für Probleme, die von einer gründlicheren Analyse profitieren würden.
-
Hoch — Liefert die besten Ergebnisse für fortgeschrittene mathematische Probleme und Beweise, komplexe Systementwürfe mit vielfältigen architektonischen Überlegungen, Forschungsaufgaben, die eine gründliche Analyse und Synthese erfordern, kritische Entscheidungsszenarien mit erheblichen Auswirkungen und mehrstufige Arbeitsabläufe, die eine sorgfältige Planung und Überprüfung erfordern. Dieses Niveau ermöglicht es Nova, erhebliche Rechenressourcen in die umfassende Bearbeitung komplexer Probleme zu investieren.
Kosten- und Leistungsmanagement
Kostenoptimierung
Die Optimierung im Hinblick auf die Kosten erfordert eine sorgfältige Anwendung umfassender Überlegungen. Verwenden Sie erweitertes Denken nur dann, wenn die Komplexität den zusätzlichen Rechenaufwand rechtfertigt, da Argumentationstoken als Output-Token in Rechnung gestellt werden. Beginnen Sie mit geringem Aufwand und erhöhen Sie den Wert schrittweise auf der Grundlage der Ergebnisse, um das optimale Gleichgewicht für Ihre Anwendungsfälle zu finden. Überwachen Sie die Nutzungsmuster von Argumentations-Tokens in Ihren Anwendungen, um Optimierungsmöglichkeiten zu identifizieren. Erwägen Sie zur Kostensenkung die Stapelverarbeitung für Aufgaben non-time-sensitive mit hohem Argumentationsaufwand. Denken Sie daran, dass latentes Denken bei deaktiviertem erweitertem Denken die meisten Aufgaben effektiv erledigt und daher Ihr Standardansatz bleiben sollte.
Leistungsoptimierung
Um die Leistung zu optimieren, müssen Sie angemessene Werte für maxTokens festlegen, um sowohl die Argumentation als auch den Inhalt der endgültigen Antwort zu berücksichtigen. Verwenden Sie Streaming für komplexe Argumentationsaufgaben, um die wahrgenommene Leistung und das Benutzererlebnis zu verbessern. Zwischenspeichern Sie nach Möglichkeit Argumentationsmuster für häufig auftretende Problemtypen. Erwägen Sie, den Argumentationsaufwand auf der Grundlage der Benutzererwartungen und Zeitbeschränkungen zu ermitteln und dabei eine gründliche Analyse mit den Anforderungen an die Reaktionszeit in Einklang zu bringen.
