Feinabstimmung von Amazon Nova Modellen mit überwachter Feinabstimmung - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Feinabstimmung von Amazon Nova Modellen mit überwachter Feinabstimmung

Amazon Nova2.0-SFT-Daten verwenden dasselbe Converse-API-Format wie Amazon Nova 1.0, mit zusätzlichen optionalen Inhaltsfeldern zur Argumentation. Vollständige Formatspezifikationen finden Sie unter ReasoningContentBlockund das Converse API-Schema.

Unterstützte Funktionen:

  • Eingabetypen — Text, Bild oder Video in Benutzerinhaltsblöcken

  • Assistenteninhalte — Reine Textantworten und Argumentationsinhalte

  • Zusammensetzung des Datensatzes — Muss homogen sein. Wählen Sie eine der folgenden Optionen: Nur-Text-Wendungen, Text-+Bild-Wendungen oder Text-+Videoumblendungen

Wichtig

Es ist nicht möglich, Bilder und Videos innerhalb desselben Datensatzes oder über mehrere Runden hinweg zu mischen.

Aktuelle Einschränkungen:

  • Verwendung von Tools — Obwohl die Verwendung von Tools im Eingabeformat unterstützt wird, wird sie derzeit von Amazon Nova 2.0 SFT nicht unterstützt. Das Hinzufügen von Werkzeugabschnitten kann dazu führen, dass Ihr Job fehlschlägt.

  • Inhalte zum multimodalen Denken — Das Converse-Format unterstützt zwar bildbasierte Argumentationsinhalte, diese werden jedoch von 2.0 SFT nicht unterstützt. Amazon Nova

  • Validierungssätze — Die Bereitstellung eines Validierungssatzes wird möglicherweise über die Benutzeroberfläche unterstützt, während der SFT-Schulung jedoch nicht.

Unterstützte Medienformate:

  • Bilder — PNG, JPEG, GIF

  • Videos — MOV, MKV, MP4

Beispiele für Datenformate

Text-only

Dieses Beispiel zeigt ein einfaches Nur-Text-Format, das mit Amazon Nova 1.0 kompatibel ist.

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a digital assistant with a friendly personality" } ], "messages": [ { "role": "user", "content": [ { "text": "What country is right next to Australia?" } ] }, { "role": "assistant", "content": [ { "text": "The closest country is New Zealand" } ] } ] }
Text with reasoning

Dieses Beispiel zeigt Text mit optionalem Argumentationsinhalt für Amazon Nova 2.0.

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a digital assistant with a friendly personality" } ], "messages": [ { "role": "user", "content": [ { "text": "What country is right next to Australia?" } ] }, { "role": "assistant", "content": [ { "reasoningContent": { "reasoningText": { "text": "I need to use my world knowledge of geography to answer this question" } } }, { "text": "The closest country to Australia is New Zealand, located to the southeast across the Tasman Sea." } ] } ] }
Anmerkung

Derzeit reasoningText wird nur innerhalb reasoningContent unterstützt. Inhalte zum multimodalen Denken sind noch nicht verfügbar.

Image + text

Dieses Beispiel zeigt, wie Bildeingaben in Text integriert werden.

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a helpful assistant." } ], "messages": [ { "role": "user", "content": [ { "image": { "format": "jpeg", "source": { "s3Location": { "uri": "s3://your-bucket/your-path/your-image.jpg", "bucketOwner": "your-aws-account-id" } } } }, { "text": "Which country is highlighted in the image?" } ] }, { "role": "assistant", "content": [ { "reasoningContent": { "reasoningText": { "text": "I will determine the highlighted country by examining its location on the map and using my geographical knowledge" } } }, { "text": "The highlighted country is New Zealand" } ] } ] }
Video + text

Dieses Beispiel zeigt, wie Videoeingaben mit Text verknüpft werden.

{ "schemaVersion": "bedrock-conversation-2024", "system": [ { "text": "You are a helpful assistant." } ], "messages": [ { "role": "user", "content": [ { "video": { "format": "mp4", "source": { "s3Location": { "uri": "s3://your-bucket/your-path/your-video.mp4", "bucketOwner": "your-aws-account-id" } } } }, { "text": "What is shown in this video?" } ] }, { "role": "assistant", "content": [ { "reasoningContent": { "reasoningText": { "text": "I will analyze the video content to identify key elements" } } }, { "text": "The video shows a map with New Zealand highlighted" } ] } ] }

Inhalt begründen

Der Inhalt des Arguments (auch genannt chain-of-thought) erfasst die Zwischenschritte des Modells beim Denken, bevor eine endgültige Antwort generiert wird. Verwenden assistant Sie wiederum das reasoningContent Feld, um diese Argumentationsspuren einzufügen.

So wird der Verlust berechnet:

  • Mit Argumentationsinhalt — Der Trainingsverlust umfasst sowohl Argumentationstoken als auch Token für das Endergebnis

  • Ohne Inhalt zum Argumentieren — Der Trainingsverlust wird nur anhand der endgültigen Ausgangstoken berechnet

Wann der Argumentationsmodus aktiviert werden soll: Legen Sie reasoning_enabled: true in Ihrer Trainingskonfiguration fest, wann das Modell Denkmuster generieren soll, bevor es endgültige Ergebnisse liefert, oder ob Sie bei komplexen Denkaufgaben eine verbesserte Leistung benötigen. Legen Sie festreasoning_enabled: false, wann Sie an einfachen Aufgaben trainieren, für die keine expliziten Argumentationsschritte erforderlich sind.

Anmerkung

Du kannst den Argumentationsmodus unabhängig davon aktivieren, ob deine Trainingsdaten Inhalte zum Denken enthalten. Es wird jedoch empfohlen, Argumentationsspuren in Ihre Trainingsdaten aufzunehmen, damit das Modell aus diesen Beispielen lernen und die Qualität der Argumentation verbessern kann.

Richtlinien zur Formatierung:

  • Verwenden Sie Klartext, um Inhalte zu begründen.

  • Vermeiden Sie Markup-Tags wie <thinking> und, </thinking> sofern dies für Ihre Aufgabe nicht ausdrücklich erforderlich ist.

  • Stellen Sie sicher, dass der Inhalt der Argumentation klar und relevant für den Problemlösungsprozess ist.

Der Inhalt effektiver Argumentation sollte Folgendes beinhalten:

  • Zwischengedanken und Analysen

  • Logische Ableitungen und Inferenzschritte

  • Step-by-step Ansätze zur Problemlösung

  • Explizite Zusammenhänge zwischen Schritten und Schlussfolgerungen

Wenn es Ihrem Datensatz an Argumentationsspuren mangelt, können Sie diese mit einem Modell, das Argumentation ermöglicht, wie Nova Premier, erstellen. Stellen Sie dem Modell Ihre Input-Output-Paare zur Verfügung und erfassen Sie dessen Argumentationsprozess, um einen mit Argumenten erweiterten Datensatz zu erstellen.

Richtlinien für die Vorbereitung von Datensätzen

Die folgende Tabelle enthält Richtlinien für die Vorbereitung Ihres Trainingsdatensatzes.

Richtlinien für die Vorbereitung von Datensätzen
Richtlinie Description
Größe und Qualität
  • Empfohlene Größe: 2.000-10.000 Proben

  • Mindestanzahl der Proben: 200

  • Priorisieren Sie Qualität vor Quantität. Stellen Sie sicher, dass die Beispiele korrekt und gut kommentiert sind.

  • Der Datensatz sollte Ihre Anwendungsfälle in der Produktion genau widerspiegeln.

Diversität

Fügen Sie verschiedene Beispiele hinzu, die Folgendes bewirken:

  • Decken Sie den gesamten Bereich der erwarteten Eingaben ab

  • Stellen Sie verschiedene Schwierigkeitsgrade dar

  • Schließe Sonderfälle und Varianten mit ein

  • Vermeiden Sie eine Überanpassung an schmale Muster

Formatierung der Ausgabe

Geben Sie das gewünschte Ausgabeformat in den Antworten des Assistenten eindeutig an. Beispiele hierfür sind JSON-Strukturen, Tabellen, das CSV-Format oder benutzerdefinierte Formate, die für Ihre Anwendung spezifisch sind.

Multi-turn-Konversationen
  • Der Verlust wird nur berechnet, wenn der Assistent an der Reihe ist, nicht für die Züge eines Benutzers.

  • Jede Antwort des Assistenten sollte korrekt formatiert sein.

  • Sorgen Sie für Konsistenz in allen Gesprächsrunden.

Checkliste für Qualität
  • Ausreichende Datensatzgröße (2.000-10.000 Stichproben)

  • Vielfältige Beispiele für alle Anwendungsfälle

  • Klare, konsistente Ausgabeformatierung

  • Präzise Beschriftungen und Anmerkungen

  • Repräsentativ für Produktionsszenarien

  • Frei von Widersprüchen oder Unklarheiten