Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Anpassen eines Modells mit Destillation in Amazon Bedrock
Modelldestillation ist der Prozess, Wissen von einem größeren, intelligenteren Modell (Lehrer) auf ein kleineres, schnelleres und kostengünstigeres Modell (Schüler) zu übertragen. Bei diesem Prozess verbessert sich die Leistung des Schülermodells für einen bestimmten Anwendungsfall. Amazon-Bedrock-Modelldestillation verwendet die neuesten Datensynthesetechniken, um anhand des Lehrermodells vielfältige, qualitativ hochwertige Antworten (synthetische Daten) zu generieren und das Schülermodell zu optimieren.
So verwenden Sie Amazon Bedrock Model Distillation
Gehen Sie wie folgt vor, um die Amazon-Bedrock-Modelldestillation zu verwenden:
-
Wählen Sie ein Lehrer- und ein Schülermodell aus — Weitere Informationen finden Sie unterVoraussetzungen für die Modelldestillation.
-
Bereiten Sie Ihre Trainingsdaten für die Destillation vor — Ihre Trainingsdaten sind eine Sammlung von Eingabeaufforderungen, die in
.jsonlDateien gespeichert sind. Amazon Bedrock verwendet die Eingabedaten, um Antworten aus dem Lehrermodell zu generieren, und nutzt die Antworten dann zur Feinabstimmung des Schülermodells.-
Optimiere die Eingabeaufforderungen — Formatiere deine Eingabeaufforderungen für den gewünschten Anwendungsfall. Weitere Informationen finden Sie unter Optimieren von Eingabe-Prompts für die Generierung synthetischer Daten.
-
Verwenden Sie beschriftete Beispiele — Bereiten Sie beschriftete Eingabedaten als Prompt-Antwort-Paare vor. Amazon Bedrock kann diese Paare als goldene Beispiele verwenden und gleichzeitig Antworten anhand des Lehrermodells generieren. Weitere Informationen finden Sie unter Option 1: Bereitstellen eigener Prompts für die Datenvorbereitung.
-
Aufruf-Logs verwenden — Wenn Sie CloudWatch Logs-Aufruf-Logs aktivieren, können Sie bestehende Antworten von Lehrern aus Aufruf-Logs, die in Amazon S3 gespeichert sind, als Trainingsdaten verwenden. Ein Aufrufprotokoll in Amazon Bedrock ist eine detaillierte Aufzeichnung von Modellaufrufen. Weitere Informationen finden Sie unter Option 2: Verwenden der Aufrufprotokolle für die Datenvorbereitung.
-
-
Erstellen Sie einen Destillationsauftrag — Dieser Job erstellt ein kleineres, schnelleres und kostengünstigeres Modell für Ihren Anwendungsfall. Nur Sie können auf das endgültige destillierte Modell zugreifen. Amazon Bedrock verwendet Ihre Daten nicht, um andere Lehrer- oder Schülermodelle für den öffentlichen Gebrauch zu trainieren. Weitere Informationen finden Sie unter Übermitteln eines Auftrags zur Modelldestillation bei Amazon Bedrock. Weitere Informationen zur Einrichtung von On-Demand-Inferenz finden Sie unterEinrichten von Inferenz für ein benutzerdefiniertes Modell.
So funktioniert die Amazon-Bedrock-Modelldestillation
Die Amazon-Bedrock-Modelldestillation ist ein einziger Workflow, der den Prozess der Erstellung eines destillierten Modells automatisiert. In diesem Workflow generiert Amazon Bedrock Antworten aus einem Lehrermodell, fügt Datensynthesetechniken zur Verbesserung der Antwortgenerierung hinzu und optimiert das Schülermodell anhand der generierten Antworten. Der erweiterte Datensatz wird in separate Datensätze aufgeteilt, die für Training und Validierung verwendet werden. Amazon Bedrock verwendet nur die Daten im Trainingsdatensatz, um das Schülermodell zu optimieren.
Nachdem Sie Ihre Lehrer- und Schülermodelle identifiziert haben, können Sie wählen, wie Amazon Bedrock ein destilliertes Modell für Ihren Anwendungsfall erstellen soll. Amazon Bedrock kann entweder anhand der von Ihnen bereitgestellten Prompts Lehrer-Antworten generieren oder Sie können Ihre Produktionsdaten mithilfe von Aufrufprotokollen verwenden. Die Amazon-Bedrock-Modelldestillation verwendet diese Antworten zur Feinabstimmung des Schülermodells.
Anmerkung
Wenn Amazon Bedrock Model Distillation seine eigenen Datensynthesetechniken verwendet, um qualitativ hochwertigere Antworten von Lehrern zu generieren, fallen zusätzliche Gebühren für Inferenzgespräche zum Lehrermodell an. AWS-Konto Diese Gebühren werden zu den On-Demand-Inferenzsätzen des Lehrermodells in Rechnung gestellt. Durch Datensynthesetechniken kann die Größe des Feinabstimmungsdatensatzes auf maximal 15 000 Prompt-Response-Paare erhöht werden. Weitere Informationen zu den Gebühren von Amazon Bedrock finden Sie unter Amazon Bedrock – Preise
Amazon Bedrock verwendet die von Ihnen bereitgestellten Prompts, um Antworten aus dem Lehrermodell zu generieren. Amazon Bedrock verwendet dann die Antworten, um das von Ihnen identifizierte Schülermodell zu optimieren. Abhängig von Ihrem Anwendungsfall kann Amazon Bedrock proprietäre Datensynthesetechniken hinzufügen, um vielfältige und qualitativ hochwertigere Antworten zu generieren. Amazon Bedrock könnte beispielsweise ähnliche Prompts generieren, um anhand des Lehrermodells vielfältigere Antworten zu generieren. Wenn Sie optional eine Handvoll beschrifteter Eingabedaten als Prompt-Response-Paare bereitstellen, kann Amazon Bedrock diese Paare auch als goldene Beispiele verwenden, um das Lehrermodell anzuweisen, ähnlich hochwertige Antworten zu generieren.
Wenn Sie bereits über Antworten verfügen, die vom Lehrermodell generiert und in den Aufrufprotokollen gespeichert wurden, können Sie diese vorhandenen Lehrerantworten verwenden, um das Schülermodell zu optimieren. Dazu müssen Sie Amazon Bedrock Zugriff auf Ihre Aufrufprotokolle gewähren. Ein Aufrufprotokoll in Amazon Bedrock ist eine detaillierte Aufzeichnung von Modellaufrufen. Weitere Informationen finden Sie unter Überwachen des Modellaufrufs mithilfe von Protokollen. CloudWatch
Wenn Sie sich für diese Option entscheiden, können Sie weiterhin Inferenz-API-Operationen von Amazon Bedrocks wie InvokeModeldie Converse API verwenden und die Aufrufprotokolle, Modelleingabedaten (Eingabeaufforderungen) und Modellausgabedaten (Antworten) für alle in Amazon Bedrock verwendeten Aufrufe sammeln.
Wenn Sie mithilfe der API-Operation InvokeModel oder Converse anhand des Modells Antworten generieren, können Sie die Antworten optional durch requestMetadata ergänzen. Wenn Sie einen Destillationsauftrag erstellen, können Sie im Rahmen der Konfiguration der Aufrufprotokolle nach diesen Metadaten filtern. Sie können nach Ihren spezifischen Anwendungsfällen filtern. Amazon Bedrock verwendet dann nur die gefilterten Antworten, um Ihr Schülermodell zu optimieren. Wenn Sie sich dafür entscheiden, Aufrufprotokolle zur Feinabstimmung Ihres Schülermodells zu verwenden, können Sie Amazon Bedrock anweisen, nur die Prompts zu verwenden, oder Sie nutzen die Prompt-Response-Paare.
