Übermitteln eines Auftrags zur Modelldestillation bei Amazon Bedrock - Amazon Bedrock
VoraussetzungenÜbermitteln Ihres AuftragsNächste Schritte

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Übermitteln eines Auftrags zur Modelldestillation bei Amazon Bedrock

Sie können die Modelldestillation über die Amazon Bedrock-Konsole oder durch Senden einer CreateModelCustomizationJobAnfrage mit einem Endpunkt der Amazon Bedrock-Steuerebene durchführen.

Voraussetzungen

Weitere Informationen zur Einrichtung von On-Demand-Inferenz finden Sie unter. Einrichten von Inferenz für ein benutzerdefiniertes Modell

Übermitteln Ihres Auftrags

Console

  1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die berechtigt ist, die Amazon Bedrock-Konsole zu verwenden. Öffnen Sie dann die Amazon Bedrock-Konsole unter https://console.aws.amazon.com/bedrock.

  2. Wählen Sie im linken Navigationsbereich unter Optimieren die Option Benutzerdefinierte Modelle aus.

  3. Wählen Sie Destillationsauftrag erstellen aus.

  4. Gehen Sie für Details zu destillierten Modellen wie folgt vor:

    1. Geben Sie für Name des destillierten Modells einen Namen für Ihr destilliertes Modell ein.

    2. (Optional) Aktivieren Sie das Kontrollkästchen für Modellverschlüsselung, wenn Sie einen KMS-Schlüssel für die Verschlüsselung Ihres Auftrags und der zugehörigen Artefakte angeben möchten.

      Weitere Informationen finden Sie unter Verschlüsselung benutzerdefinierter Modelle.

    3. (Optional) Wenden Sie Tags auf Ihr destilliertes Modell an.

  5. Führen Sie für Auftragskonfiguration die folgenden Schritte aus:

    1. Geben Sie für Auftragsname einen Namen für Ihren Destillationsauftrag ein.

    2. (Optional) Aktivieren Sie das Kontrollkästchen für Modellverschlüsselung, wenn Sie einen KMS-Schlüssel für die Verschlüsselung Ihres Auftrags und der zugehörigen Artefakte angeben möchten.

      Weitere Informationen finden Sie unter Verschlüsselung benutzerdefinierter Modelle.

    3. (Optional) Wenden Sie Tags auf Ihren Auftrag an.

  6. Wählen Sie für Lehrermodell – Details zum Schülermodell die Lehrer- und Schülermodelle aus, um Ihr destilliertes Modell zu erstellen.

    Weitere Informationen finden Sie unter Voraussetzungen für die Modelldestillation.

  7. Gehen Sie für die Generierung synthetischer Daten wie folgt vor:

    1. Geben Sie für Max. Antwortlänge die maximale Länge der synthetischen Antworten an, die durch das Lehrermodell generiert werden.

    2. Wählen Sie für den Eingabedatensatz für Destillation eine der folgenden Optionen aus:

      • Direkt in S3-Speicherort hochladen – Geben Sie den S3-Speicherort an, in dem Sie den Eingabedatensatz (Prompts) speichern, der für die Destillation verwendet wird. Weitere Informationen finden Sie unter Option 1: Bereitstellen eigener Prompts für die Datenvorbereitung.

      • Zugriff auf Aufrufprotokolle gewähren – Geben Sie den S3-Speicherort an, an dem Sie die Aufrufprotokolle zusammen mit dem Eingabedatensatz (Prompts) speichern, der für die Destillation verwendet werden soll. Weitere Informationen finden Sie unter Option 2: Verwenden der Aufrufprotokolle für die Datenvorbereitung.

        • (Optional) Geben Sie für Metadatenfilter anfordern Filter an, wenn Amazon Bedrock nur bestimmte Prompts in Ihren Protokollen zur Destillation verwenden soll.

        • Wählen Sie Prompts lesen oder Prompt-Antwort-Paare lesen aus, je nachdem, worauf Amazon Bedrock über Ihre Protokolle zugreifen soll. Beachten Sie, dass Antworten nur dann gelesen werden, wenn Ihr Lehrermodell mit dem Modell in Ihren Protokollen übereinstimmt.

  8. Geben Sie für die Destillationsausgabe den S3-Speicherort an, in den Sie die Metriken und Berichte zu Ihrem Destillationsauftrag hochladen möchten.

    Weitere Informationen finden Sie unter Analysieren der Ergebnisse eines Modellanpassungsauftrags.

  9. Wählen Sie für VPC-Einstellungen eine VPC-Konfiguration für den Zugriff auf den S3-Bucket mit Ihren Trainingsdaten aus.

    Weitere Informationen finden Sie unter (Optional) Schützen der Modellanpassungsaufträge mit einer VPC.

  10. Geben Sie für den Servicezugriff die IAM-Rolle für den Zugriff auf den S3-Bucket mit Ihren Trainingsdaten an. Sofern Sie kein regionsübergreifendes Inferenzprofil oder VPC-Konfigurationen verwenden, können Sie die Rolle in der Amazon-Bedrock-Konsole erstellen, wobei die korrekten Berechtigungen automatisch konfiguriert werden. Oder Sie können eine vorhandene Servicerolle verwenden.

    Für einen Auftrag, der VPC-Konfigurationen aufweist oder ein regionsübergreifendes Inferenzprofil verwendet, müssen Sie in IAM eine neue Servicerolle erstellen, die über die erforderlichen Berechtigungen verfügt.

    Weitere Informationen finden Sie unter Erstellen einer IAM-Servicerolle für die Modellanpassung.

  11. Wählen Sie Destillationsauftrag erstellen, um den neuen Destillationsauftrag zu starten. Nachdem Sie ein Modell angepasst haben, können Sie Inferenz für das Modell einrichten. Weitere Informationen finden Sie unter Einrichten von Inferenz für ein benutzerdefiniertes Modell.

API

Sie müssen mindestens die folgenden Felder angeben, um Ihren Modelldestillationsauftrag zu übermitteln, wenn Sie die Amazon-Bedrock-API verwenden.

Feld Description
baseModelIdentifier Die Modell-ID des Schülermodells
customModelName Der Name des neuen Destillationsmodells
jobName Der Name des Modelldestillationsauftrags
roleArn Die Rolle, die Amazon Bedrock die Berechtigungen zum Lesen von Schulungs- und Validierungsdateien und zum Schreiben des Ausgabepfad erteilt
trainingDataConfig Der Amazon-S3-Pfad mit Ihren Trainingsdaten
outputDataConfig Der Amazon-S3-Pfad, der Ihre Trainings- und Validierungsmetriken enthält
distillationConfig Eingaben, die für den Destillationsjob erforderlich sind
customModelKmsKeyId Zum Verschlüsseln des benutzerdefinierten Modells
clientRequestToken Token, der verhindert, dass die Anforderung mehr als einmal abgeschlossen wird

Die folgenden Felder sind optional:

Feld Description
customizationType Standardmäßig für Destillationsaufträge auf DISTILLATION festgelegt
validationDataConfig Liste der Amazon-S3-Pfade für Validierungsdaten
jobTags Zum Zuordnen von Tags zum Auftrag
customModelTags Zum Zuordnen von Tags zum resultierenden benutzerdefinierten Modell
vpcConfig VPC zum Schutz Ihrer Trainingsdaten und Ihres Destillationsaufträge

Wenn Sie verhindern möchten, dass die Anforderung mehr als einmal abgeschlossen wird, fügen Sie einen clientRequestToken hinzu.

Sie können die folgenden optionalen Felder für zusätzliche Konfigurationen einschließen.

  • jobTags and/or customModelTags— Ordnen Sie Tags dem Anpassungsauftrag oder dem daraus resultierenden benutzerdefinierten Modell zu.

  • vpcConfig – Fügen Sie die Konfiguration für eine Virtual Private Cloud (VPC) hinzu, um Ihre Trainingsdaten und Anpassungsauftrag zu schützen.

Das Folgende ist ein Beispielausschnitt aus CreateModelCustomizationJobder API. In diesem Beispiel werden die Prompt-Response-Paare im Aufrufprotokoll als Eingabedatenquelle verwendet und wird der Filter für die Auswahl von Prompt-Response-Paaren angegeben. 

"trainingDataConfig": {
    "invocationLogsConfig": {
        "usePromptResponse": true,
        "invocationLogSource": {
            "s3Uri": "string"
        },
        "requestMetadataFilters": {
            "equals": {
                "priority": "High"
            }
        }
    }
}

Antwort

Die Antwort gibt einen jobArn des Modelldestillationsauftrags zurück.

Nächste Schritte