Beaufsichtigte Feinabstimmung auf 2.0 Amazon Nova - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Beaufsichtigte Feinabstimmung auf 2.0 Amazon Nova

-Übersicht

Amazon Nova2.0-SFT-Daten verwenden dasselbe Converse-API-Format wie Amazon Nova 1.0, mit zusätzlichen optionalen Inhaltsfeldern für Argumentation. Vollständige Formatspezifikationen finden Sie unter ReasoningContentBlockund das Converse API-Schema.

Unterstützte Features

  • Eingabetypen — Text, Bild oder Video in Benutzerinhaltsblöcken

  • Assistenteninhalte — Reine Textantworten und Argumentationsinhalte

  • Zusammensetzung des Datensatzes — Muss homogen sein. Wählen Sie eine der folgenden Optionen: Nur-Text-Wendungen, Text-+Bild-Wendungen oder Text-+Videoumblendungen

Wichtig

Es ist nicht möglich, Bilder und Videos innerhalb desselben Datensatzes oder über mehrere Runden hinweg zu mischen.

Aktuelle Einschränkungen

  • Verwendung von Tools — Obwohl die Verwendung von Tools im Eingabeformat unterstützt wird, wird sie derzeit von Amazon Nova 2.0 SFT nicht unterstützt. Das Hinzufügen von Werkzeugabschnitten kann dazu führen, dass Ihr Job fehlschlägt.

  • Inhalte zum multimodalen Denken — Das Converse-Format unterstützt zwar bildbasierte Argumentationsinhalte, diese werden jedoch von 2.0 SFT nicht unterstützt. Amazon Nova

  • Validierungssätze — Die Bereitstellung eines Validierungssatzes wird möglicherweise über die Benutzeroberfläche unterstützt, während der SFT-Schulung jedoch nicht.

Unterstützte Medienformate

  • Bilder — PNG, JPEG, GIF

  • Videos — MOV, MKV, MP4

Beispiele für Datenformate

Text-only

Dieses Beispiel zeigt ein einfaches Nur-Text-Format, das mit Amazon Nova 1.0 kompatibel ist.

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a digital assistant with a friendly personality" } ], "messages": [ { "role": "user", "content": [ { "text": "What country is right next to Australia?" } ] }, { "role": "assistant", "content": [ { "text": "The closest country is New Zealand" } ] } ] }
Text with reasoning

Dieses Beispiel zeigt Text mit optionalem Argumentationsinhalt für Amazon Nova 2.0.

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a digital assistant with a friendly personality" } ], "messages": [ { "role": "user", "content": [ { "text": "What country is right next to Australia?" } ] }, { "role": "assistant", "content": [ { "reasoningContent": { "reasoningText": { "text": "I need to use my world knowledge of geography to answer this question" } } }, { "text": "The closest country to Australia is New Zealand, located to the southeast across the Tasman Sea." } ] } ] }
Anmerkung

Derzeit reasoningText wird nur innerhalb reasoningContent unterstützt. Inhalte zum multimodalen Denken sind noch nicht verfügbar.

Image + text

Dieses Beispiel zeigt, wie Bildeingaben in Text integriert werden.

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a helpful assistant." } ], "messages": [ { "role": "user", "content": [ { "image": { "format": "jpeg", "source": { "s3Location": { "uri": "s3://your-bucket/your-path/your-image.jpg", "bucketOwner": "your-aws-account-id" } } } }, { "text": "Which country is highlighted in the image?" } ] }, { "role": "assistant", "content": [ { "reasoningContent": { "reasoningText": { "text": "I will determine the highlighted country by examining its location on the map and using my geographical knowledge" } } }, { "text": "The highlighted country is New Zealand" } ] } ] }
Video + text

Dieses Beispiel zeigt, wie Videoeingaben mit Text verknüpft werden.

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a helpful assistant." } ], "messages": [ { "role": "user", "content": [ { "video": { "format": "mp4", "source": { "s3Location": { "uri": "s3://your-bucket/your-path/your-video.mp4", "bucketOwner": "your-aws-account-id" } } } }, { "text": "What is shown in this video?" } ] }, { "role": "assistant", "content": [ { "reasoningContent": { "reasoningText": { "text": "I will analyze the video content to identify key elements" } } }, { "text": "The video shows a map with New Zealand highlighted" } ] } ] }

Modi „Argumentation“ und „Argumentation ohne Argumentation“

Den Inhalt des Arguments verstehen: Der Argumentationsinhalt (auch genannt chain-of-thought) erfasst die Zwischenschritte des Modells beim Denken, bevor eine endgültige Antwort generiert wird. Verwenden assistant Sie anschließend das reasoningContent Feld, um diese Argumentationsspuren einzubeziehen.

So wird der Verlust berechnet:

  • Mit Argumentationsinhalt — Der Trainingsverlust umfasst sowohl Argumentationstoken als auch Token für das Endergebnis

  • Ohne Inhalt zum Argumentieren — Der Trainingsverlust wird nur anhand der endgültigen Ausgangstoken berechnet

Sie können mehrere Runden des Assistenten in Konversationen mit reasoningContent mehreren Runden einbeziehen.

Wann sollte der Argumentationsmodus aktiviert werden

Geben Sie reasoning_enabled: true in Ihrer Trainingskonfiguration an, wann das Modell Denkansätze generieren soll, bevor endgültige Ergebnisse erzielt werden, oder wenn Sie bei komplexen Argumentationsaufgaben eine verbesserte Leistung benötigen.

Anmerkung

Sie können den Argumentationsmodus unabhängig davon aktivieren, ob Ihre Trainingsdaten Argumentationsinhalte enthalten. Es wird jedoch empfohlen, Argumentationsspuren in Ihre Trainingsdaten aufzunehmen, damit das Modell aus diesen Beispielen lernen und die Qualität der Argumentation verbessern kann.

Legen Sie diese Einstellung fest, reasoning_enabled: false wenn Sie an einfachen Aufgaben trainieren, die nicht von expliziten Argumentationsschritten profitieren, oder wenn Sie die Geschwindigkeit optimieren und die Token-Nutzung reduzieren möchten.

Richtlinien zur Formatierung

  • Verwenden Sie Klartext, um Inhalte zu begründen.

  • Vermeiden Sie Markup-Tags wie <thinking> und, </thinking> sofern dies für Ihre Aufgabe nicht ausdrücklich erforderlich ist.

  • Stellen Sie sicher, dass der Inhalt der Argumentation klar und relevant für den Problemlösungsprozess ist.

Generierung von Argumentationsdaten

Wenn es Ihrem Datensatz an Argumentationsspuren mangelt, können Sie diese mit einem Modell erstellen, das Argumentation ermöglicht, wie z. Stellen Sie dem Modell Ihre Input-Output-Paare zur Verfügung und erfassen Sie dessen Argumentationsprozess, um einen mit Argumenten erweiterten Datensatz zu erstellen.

Verwendung von Argumentationstoken für das Training

Beim Training mit aktiviertem Argumentationsmodus lernt das Modell, internes Denken von der endgültigen Antwort zu trennen. Der Trainingsprozess funktioniert wie folgt:

  • Organisiert Daten als Tripel: Eingabe, Argumentation und Antwort

  • Optimiert mithilfe von standardmäßigen Verlusten bei der Vorhersage des nächsten Tokens sowohl bei Argumentations- als auch bei Antwort-Tokens

  • Ermutigt das Modell, intern zu argumentieren, bevor Antworten generiert werden

Inhalt für effektives Denken

Qualitativ hochwertige Inhalte zum Argumentieren sollten Folgendes beinhalten:

  • Zwischengedanken und Analysen

  • Logische Ableitungen und Inferenzschritte

  • Step-by-step Ansätze zur Problemlösung

  • Explizite Zusammenhänge zwischen Schritten und Schlußfolgerungen

Dies hilft dem Modell, die Fähigkeit zu entwickeln, vor der Beantwortung nachzudenken.

Richtlinien für die Vorbereitung von Datensätzen

Die folgende Tabelle enthält Richtlinien für die Vorbereitung Ihres Trainingsdatensatzes.

Richtlinien für die Vorbereitung von Datensätzen

Richtlinie Description
Größe und Qualität
  • Empfohlene Größe: 2.000-10.000 Proben

  • Mindestanzahl der Proben: 200

  • Priorisieren Sie Qualität vor Quantität. Stellen Sie sicher, dass die Beispiele korrekt und gut kommentiert sind.

  • Der Datensatz sollte Ihre Anwendungsfälle in der Produktion genau widerspiegeln.

Diversität

Fügen Sie verschiedene Beispiele hinzu, die Folgendes bewirken:

  • Decken Sie den gesamten Bereich der erwarteten Eingaben ab

  • Stellen Sie verschiedene Schwierigkeitsgrade dar

  • Schließe Sonderfälle und Varianten mit ein

  • Vermeiden Sie eine Überanpassung an schmale Muster

Formatierung der Ausgabe

Geben Sie das gewünschte Ausgabeformat in den Antworten des Assistenten eindeutig an. Beispiele hierfür sind JSON-Strukturen, Tabellen, das CSV-Format oder benutzerdefinierte Formate, die für Ihre Anwendung spezifisch sind.

Multi-turn-Konversationen
  • Der Verlust wird nur berechnet, wenn der Assistent an der Reihe ist, nicht für die Züge eines Benutzers.

  • Jede Antwort des Assistenten sollte korrekt formatiert sein.

  • Sorgen Sie für Konsistenz in allen Gesprächsrunden.

Checkliste für Qualität
  • Ausreichende Datensatzgröße (2.000-10.000 Stichproben)

  • Vielfältige Beispiele für alle Anwendungsfälle

  • Klare, konsistente Ausgabeformatierung

  • Präzise Beschriftungen und Anmerkungen

  • Repräsentativ für Produktionsszenarien

  • Frei von Widersprüchen oder Unklarheiten