Bereiten Sie Daten für die Feinabstimmung Ihrer Modelle vor

In den folgenden Abschnitten werden die verschiedenen Funktionen zur Feinabstimmung beschrieben, die von den einzelnen Modellen unterstützt werden, geordnet nach ihren Eingabe- und Ausgabemodalitäten. Weitere Informationen zur Feinabstimmung von Amazon Nova-Modellen finden Sie unter Feinabstimmung von Amazon Nova-Modellen.

Text-to-Text --Modelle

Text-to-Text Modelle können für verschiedene textbasierte Aufgaben optimiert werden, sowohl für Konversationsanwendungen als auch für Anwendungen, die nicht auf Konversation basieren. Hinweise zur Vorbereitung von Daten für die Feinabstimmung von Modellen finden Sie unter. Text-to-Text Bereiten Sie Daten für die Feinabstimmung von Modellen vor text-to-text

Die folgenden Modelle ohne Konversationen sind für Aufgaben wie Zusammenfassung, Übersetzung und Beantwortung von Fragen optimiert:

Die folgenden Konversationsmodelle sind für Single-Turn- und Multi-Turn-Interaktionen konzipiert. Wenn ein Modell die Converse-API verwendet, muss Ihr Datensatz zur Feinabstimmung dem Nachrichtenformat der Converse-API entsprechen und System-, Benutzer- und Assistentennachrichten enthalten. Beispiele finden Sie unter Bereiten Sie Daten für die Feinabstimmung von Modellen vor text-to-text. Weitere Informationen über Converse-API-Operationen finden Sie im Abschnitt Führen einer Konversation mit den Converse-API-Operationen.

Text-Image-to-Text & Text-to-Image Modelle

Die folgenden Modelle unterstützen die Feinabstimmung für die Bildgenerierung und die Text-Bild-Verarbeitung. Diese Modelle verarbeiten oder generieren Bilder auf der Grundlage von Texteingaben oder generieren Text, der sowohl auf Text- als auch auf Bildeingaben basiert. Informationen zur Vorbereitung von Daten für die Feinabstimmung von Text-to-Image Modellen Text-Image-to-Text und Modellen finden Sie unterVorbereiten von Daten für die Feinabstimmung von Bild- und Textverarbeitungsmodellen.

Bild-zu-Einbettungen

Die folgenden Modelle unterstützen die Feinabstimmung für Aufgaben wie Klassifizierung und Abruf. Diese Modelle erzeugen numerische Repräsentationen (Einbettungen) aus Bildeingaben. Informationen zur Vorbereitung von Daten für die Feinabstimmung von Image-to-Embeddings Modellen finden Sie unter. Vorbereiten von Daten für die Feinabstimmung der Bildgenerierung und das Einbetten von Modellen

In den folgenden Abschnitten werden die Anforderungen an Trainings- und Validierungsdatensätze für ein Modell aufgeführt. Informationen zu Datensatzeinschränkungen für Modelle von Amazon Nova finden Sie unter Feinabstimmung von Modellen in Amazon Nova.

Bei der Feinabstimmung von text-to-text Modellen handelt es sich bei jedem JSON-Objekt um ein Beispiel mit strukturierten Feldern, die das Modell dazu anleiten sollen, die gewünschte Textausgabe auf der Grundlage einer bereitgestellten Textaufforderung zu generieren. Das Datenformat variiert je nach Anwendungsfall und wird grob in konversationsbezogene und nicht konversationsbezogene Anwendungsfälle unterteilt.

Für die Feinabstimmung von image-text-to-text Modellen ist jedes JSON-Objekt ein Beispiel, das eine als messages Array strukturierte Konversation enthält, die aus abwechselnden JSON-Objekten besteht, die die Eingaben des Benutzers und die Antworten des Assistenten darstellen. Benutzereingaben können sowohl Text als auch Bilder enthalten, während die Antworten des Assistenten immer in Textform erfolgen. Diese Struktur unterstützt sowohl Single-Turn- als auch Multi-Turn-Konversationsabläufe, sodass das Modell verschiedene Aufgaben effektiv bewältigen kann. Zu den unterstützten Bildformaten für Meta Llama-3.2 11B Vision Instruct und Meta Llama-3.2 90B Vision Instruct gehören: gif, jpeg, png und webp.

Damit Amazon Bedrock auf die Bilddateien zugreifen kann, fügen Sie eine IAM-Richtlinie hinzu, die der Servicerolle für die Amazon-Bedrock-Modellanpassung in Berechtigungen zum Zugriff auf Trainings- und Validierungsdateien und zum Schreiben von Ausgabedateien in S3 ähnelt, die Sie eingerichtet haben oder die automatisch für Sie in der Konsole eingerichtet wurde. Die Amazon-S3-Pfade, die Sie im Trainingsdatensatz angeben, müssen sich in Ordnern befinden, die Sie in der Richtlinie angeben.

Single-Turn-Konversationen

Jedes JSON-Objekt für Single-Turn-Konversationen besteht aus einer Benutzernachricht und einer Assistentennachricht. Die Benutzernachricht umfasst ein auf Benutzer festgelegtes Rollenfeld und ein Inhaltsfeld, das ein Array mit einem type-Feld (Text oder Bild) zur Beschreibung der Eingabemodalität enthält. Bei Texteingaben enthält das content-Feld ein text-Feld mit der Frage oder dem Prompt des Benutzers. Bei Bildeingaben spezifiziert das content-Feld das Bild format (z. B. JPEG oder PNG) und seinen uri mit einer source, die auf den Amazon-S3-Speicherort des Bilds zeigt. Der uri steht für den eindeutigen Pfad zu dem in einem Amazon-S3-Bucket gespeicherten Bild, in der Regel im Format s3://<bucket-name>/<path-to-file>. Die Assistentennachricht umfasst ein role-Feld, das auf Assistent eingestellt ist, ein content-Feld, das ein Array mit einem type-Feld enthält, das auf Text festgelegt ist, und ein text-Feld mit der vom Assistenten generierten Antwort.

Beispielformat

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [{
        "text": "You are a smart assistant that answers questions respectfully"
    }],
    "messages": [{
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                },
                {
                    "image": {
                        "format": "png",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.png",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        }
    ]
}

Multi-turn-Konversationen

Jedes JSON-Objekt für Multi-Turn-Konversationen enthält eine Abfolge von Nachrichten mit wechselnden Rollen, wobei Benutzernachrichten und Assistentennachrichten einheitlich strukturiert sind, um einen kohärenten Austausch zu ermöglichen. Benutzernachrichten enthalten ein role-Feld, das auf Benutzer festgelegt ist, und ein content-Feld, das die Eingabemodalität beschreibt. Bei Texteingaben enthält das content-Feld ein text-Feld mit der Frage oder dem Follow-up des Benutzers. Bei Bildeingaben spezifiziert es hingegen das Bild-format und seine source mit einem uri, der auf den Amazon-S3-Speicherort des Bildes verweist. Das uri dient als eindeutige Kennung im Format s3://<bucket-name>/< path-to-file > und ermöglicht dem Modell den Zugriff auf das Bild aus dem angegebenen Amazon S3 S3-Bucket. Assistentennachrichten umfassen ein role-Feld, das auf Assistent eingestellt ist, ein content-Feld, das ein Array mit einem type-Feld enthält, das auf Text festgelegt ist, und ein text-Feld mit der vom Assistenten generierten Antwort. Konversationen können sich über mehrere Austausche erstrecken, sodass der Assistent den Kontext beibehalten und durchgehend kohärente Antworten geben kann.

Beispielformat

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [{
        "text": "You are a smart assistant that answers questions respectfully"
    }],
    "messages": [{
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                },
                {
                    "image": {
                        "format": "png",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.png",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        },
        {
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        }
        
    ]
}
    

Bereiten Sie für text-to-image image-to-embedding unsere Modelle einen Trainingsdatensatz vor. Validierungsdatensätze werden nicht unterstützt. Jedes JSON-Objekt ist ein Beispiel mit einer image-ref, dem Amazon-S3-URI für ein Bild und einer caption, die ein Prompt für das Bild sein könnte.

Die Bilder müssen im JPEG- oder PNG-Format vorliegen.

{"image-ref": "s3://bucket/path/to/image001.png", "caption": "<prompt text>"}
{"image-ref": "s3://bucket/path/to/image002.png", "caption": "<prompt text>"}{"image-ref": "s3://bucket/path/to/image003.png", "caption": "<prompt text>"}    

Im Folgenden wird ein Beispielelement gezeigt:

{"image-ref": "s3://amzn-s3-demo-bucket/my-pets/cat.png", "caption": "an orange cat with white spots"}

Damit Amazon Bedrock auf die Bilddateien zugreifen kann, fügen Sie eine IAM-Richtlinie hinzu, die der Servicerolle für die Amazon-Bedrock-Modellanpassung in Berechtigungen zum Zugriff auf Trainings- und Validierungsdateien und zum Schreiben von Ausgabedateien in S3 ähnelt, die Sie eingerichtet haben oder die automatisch für Sie in der Konsole eingerichtet wurde. Die Amazon-S3-Pfade, die Sie im Trainingsdatensatz angeben, müssen sich in Ordnern befinden, die Sie in der Richtlinie angeben.