Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Passen Sie ein Modell mit Destillation in Amazon Bedrock an

Modelldestillation ist der Prozess des Wissenstransfers von einem größeren, intelligenteren Modell (bekannt als Lehrer) auf ein kleineres, schnelleres und kostengünstigeres Modell (bekannt als Schüler). Bei diesem Prozess verbessert sich die Leistung des Schülermodells für einen bestimmten Anwendungsfall. Amazon Bedrock Model Distillation verwendet die neuesten Datensynthesetechniken, um anhand des Lehrermodells vielfältige, qualitativ hochwertige Antworten (sogenannte synthetische Daten) zu generieren und das Schülermodell zu verfeinern.

Gehen Sie wie folgt vor, um Amazon Bedrock Model Distillation zu verwenden:

So funktioniert Amazon Bedrock Model Distillation

Amazon Bedrock Model Distillation ist ein einziger Workflow, der den Prozess der Erstellung eines destillierten Modells automatisiert. In diesem Workflow generiert Amazon Bedrock Antworten anhand eines Lehrermodells, fügt Datensynthesetechniken hinzu, um die Antwortgenerierung zu verbessern, und optimiert das Schülermodell anhand der generierten Antworten. Der erweiterte Datensatz wird in separate Datensätze aufgeteilt, um ihn für Training und Validierung zu verwenden. Amazon Bedrock verwendet nur die Daten im Trainingsdatensatz, um das Studentenmodell zu optimieren.

Nachdem Sie Ihre Lehrer- und Schülermodelle identifiziert haben, können Sie wählen, wie Amazon Bedrock ein destilliertes Modell für Ihren Anwendungsfall erstellen soll. Amazon Bedrock kann entweder anhand der von Ihnen bereitgestellten Eingabeaufforderungen Antworten von Lehrern generieren, oder Sie können Antworten aus Ihren Produktionsdaten über Aufrufprotokolle verwenden. Amazon Bedrock Model Distillation verwendet diese Antworten zur Feinabstimmung des Studentenmodells.

Erstellen eines destillierten Modells mithilfe der von Ihnen angegebenen Eingabeaufforderungen

Amazon Bedrock verwendet die von Ihnen bereitgestellten Eingabeaufforderungen, um Antworten aus dem Lehrermodell zu generieren. Amazon Bedrock verwendet dann die Antworten, um das von Ihnen identifizierte Studentenmodell zu optimieren. Abhängig von Ihrem Anwendungsfall kann Amazon Bedrock eigene Datensynthesetechniken hinzufügen, um vielfältige und qualitativ hochwertigere Antworten zu generieren. Amazon Bedrock könnte beispielsweise ähnliche Eingabeaufforderungen generieren, um anhand des Lehrermodells vielfältigere Antworten zu generieren. Oder, wenn Sie optional eine Handvoll beschrifteter Eingabedaten als Prompt-Response-Paare bereitstellen, kann Amazon Bedrock diese Paare als goldene Beispiele verwenden, um den Lehrer anzuweisen, ähnlich hochwertige Antworten zu generieren.

Erstellen eines destillierten Modells unter Verwendung von Produktionsdaten

Wenn Sie bereits über Antworten verfügen, die vom Lehrermodell generiert und in den Aufrufprotokollen gespeichert wurden, können Sie diese vorhandenen Lehrerantworten verwenden, um das Schülermodell zu verfeinern. Dazu müssen Sie Amazon Bedrock Zugriff auf Ihre Aufrufprotokolle gewähren. Ein Aufrufprotokoll in Amazon Bedrock ist eine detaillierte Aufzeichnung von Modellaufrufen. Weitere Informationen finden Sie unter Überwachen des Modellaufrufs mithilfe von Protokollen. CloudWatch

Wenn Sie sich für diese Option entscheiden, können Sie weiterhin Inferenz-API-Operationen von Amazon Bedrocks wie InvokeModeldie Converse API verwenden und die Aufrufprotokolle, Modelleingabedaten (Eingabeaufforderungen) und Modellausgabedaten (Antworten) für alle in Amazon Bedrock verwendeten Aufrufe sammeln.

Wenn Sie mithilfe der Converse API-Operationen InvokeModel oder Antworten aus dem Modell generieren, können Sie die Antworten optional ergänzen. requestMetadata Wenn Sie einen Distillation-Job erstellen, können Sie im Rahmen der Konfiguration der Aufruf-Logs nach diesen Metadaten filtern. Sie können nach Ihren spezifischen Anwendungsfällen filtern. Amazon Bedrock verwendet dann nur die gefilterten Antworten, um Ihr Studentenmodell zu optimieren. Wenn Sie sich dafür entscheiden, Aufrufprotokolle zur Feinabstimmung Ihres Studentenmodells zu verwenden, können Sie Amazon Bedrock anweisen, nur die Eingabeaufforderungen zu verwenden, oder Prompt-Response-Paare verwenden.

Auswahl von Eingabeaufforderungen mit Aufruf-Logs

Wenn Sie festlegen, dass Amazon Bedrock nur die Eingabeaufforderungen aus den Aufrufprotokollen verwendet, verwendet Amazon Bedrock die Eingabeaufforderungen, um Antworten aus dem Lehrermodell zu generieren. In diesem Fall verwendet Amazon Bedrock die Antworten, um das von Ihnen identifizierte Studentenmodell zu optimieren. Abhängig von Ihrem Anwendungsfall kann Amazon Bedrock Model Distillation eigene Datensynthesetechniken hinzufügen, um vielfältige und qualitativ hochwertigere Antworten zu generieren.

Auswahl von Prompt-Response-Paaren mit Aufruf-Logs

Wenn Sie festlegen, dass Amazon Bedrock Prompt-Response-Paare aus den Aufrufprotokollen verwendet, generiert Amazon Bedrock keine Antworten aus dem Lehrermodell neu und verwendet die Antworten aus dem Aufrufprotokoll zur Feinabstimmung des Schülermodells. Damit Amazon Bedrock die Antworten aus den Aufrufprotokollen lesen kann, muss das in Ihrem Modeldestillationsjob angegebene Lehrermodell mit dem im Aufrufprotokoll verwendeten Modell übereinstimmen. Wenn sie nicht übereinstimmen, werden die Aufruf-Logs nicht verwendet. Wenn Sie den Antworten im Aufrufprotokoll Anforderungsmetadaten hinzugefügt haben, können Sie zur Feinabstimmung des Studentenmodells die Filter für Anforderungsmetadaten angeben, sodass Amazon Bedrock nur bestimmte Protokolle liest, die für Ihren Anwendungsfall gültig sind.