Erstellen eines Batch-Inferenzauftrags - Amazon Bedrock

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen eines Batch-Inferenzauftrags

Nachdem Sie einen Amazon-S3-Bucket mit Dateien für die Ausführung der Modellinferenz eingerichtet haben, können Sie einen Batch-Inferenzauftrag erstellen. Vergewissern Sie sich, dass Sie die Dateien gemäß den unter Formatieren und Hochladen Ihrer Batch-Inferenzdaten beschriebenen Anleitungen eingerichtet haben, bevor Sie beginnen.

Anmerkung

Zum Übermitteln eines Batch-Inferenzauftrags mit einer VPC müssen Sie die API verwenden. Wählen Sie die Registerkarte „API“ aus, um zu erfahren, wie Sie die VPC-Konfiguration einbeziehen.

Um zu erfahren, wie Sie einen Batch-Inferenzauftrag erstellen, wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und folgen dann den Schritten:

Console
So erstellen Sie einen Batch-Inferenzauftrag

  1. Melden Sie sich bei der AWS-Managementkonsole mit einer IAM-Identität an, die zur Verwendung der Amazon-Bedrock-Konsole berechtigt ist. Öffnen Sie dann die Amazon-Bedrock-Konsole unter https://console.aws.amazon.com/bedrock.

  2. Wählen Sie im linken Navigationsbereich Batch-Inferenz aus.

  3. Wählen Sie im Abschnitt Batch-Inferenzaufträge die Option Auftrag erstellen aus.

  4. Geben Sie im Abschnitt Auftragsdetails dem Batch-Inferenzauftrag einen Auftragsnamen und wählen Sie das Modell aus, das für den Batch-Inferenzauftrag verwendet werden soll, indem Sie auf Model auswählen klicken.

  5. Wählen Sie im Abschnitt Eingabedaten die Option S3 durchsuchen sowie einen S3-Speicherort für Ihren Batch-Inferenzauftrag aus. Die Batch-Inferenz verarbeitet alle JSONL- und zugehörigen Inhaltsdateien an diesem S3-Speicherort, unabhängig davon, ob es sich bei dem Speicherort um einen S3-Ordner oder eine einzelne JSONL-Datei handelt.

    Anmerkung

    Wenn sich die Eingabedaten in einem S3-Bucket befinden, der zu einem anderen Konto gehört als dem, von dem aus Sie den Auftrag übermitteln, müssen Sie die API zum Senden des Batch-Inferenzauftrags verwenden. Weitere Informationen zur Vorgehensweise finden Sie auf der Registerkarte „API“ oben.

  6. Wählen Sie im Abschnitt Ausgabedaten die Option S3 durchsuchen sowie einen S3-Speicherort zum Speichern der Ausgabedateien Ihres Batch-Inferenzauftrags aus. Standardmäßig werden die Ausgabedaten mit einem Von AWS verwalteter Schlüssel verschlüsselt. Zum Auswählen eines benutzerdefinierten KMS-Schlüssels wählen Sie zunächst Anpassen der Verschlüsselungseinstellungen (erweitert) und dann einen Schlüssel aus. Weitere Informationen zur Verschlüsselung von Amazon-Bedrock-Ressourcen und zur Einrichtung eines benutzerdefinierten KMS-Schlüssels finden Sie unter Datenverschlüsselung.

    Anmerkung

    Wenn Sie beabsichtigen, die Ausgabedaten in einen S3-Bucket zu schreiben, der zu einem anderen Konto gehört als dem, von dem aus Sie den Auftrag übermitteln, müssen Sie den Batch-Inferenzauftrag mit der API senden. Weitere Informationen zur Vorgehensweise finden Sie auf der Registerkarte „API“ oben.

  7. Wählen Sie im Abschnitt Servicezugriff eine der folgenden Optionen aus:

    • Eine vorhandene Servicerolle verwenden – Wählen Sie eine Servicerolle aus der Dropdown-Liste aus. Weitere Informationen zum Einrichten einer benutzerdefinierten Rolle mit den entsprechenden Berechtigungen finden Sie unter Erforderliche Berechtigungen für eine Batch-Inferenz.

    • Neue Servicerolle erstellen und verwenden – Geben Sie einen Namen für die Servicerolle ein.

  8. (Optional) Um dem Batch-Inferenzauftrag Tags zuzuweisen, erweitern Sie den Abschnitt Tags und fügen für jedes Tag einen Schlüssel und einen optionalen Wert hinzu. Weitere Informationen finden Sie unter Markieren von Amazon-Bedrock-Ressourcen.

  9. Wählen Sie Create batch inference job (Batch-Inferenzauftrag erstellen).

API

Zum Erstellen eines Batch-Inferenzauftrags senden Sie eine CreateModelInvocationJob-Anfrage mit einem Endpunkt der Amazon-Bedrock-Steuerebene.

Die folgenden Felder sind erforderlich:

Feld Anwendungsfall
jobName Zum Angeben eines Namens für den Auftrag
roleArn Zum Angeben des Amazon-Ressourcennamens (ARN) der Servicerolle mit Berechtigungen zum Erstellen und Verwalten des Auftrags Weitere Informationen finden Sie unter Erstellen eine benutzerdefinierten Servicerolle für die Batch-Inferenz.
modelId Zum Angeben der ID oder des ARN des Modells, das in der Inferenz verwendet wird
inputDataConfig Zum Angeben des S3-Speicherorts, der die Eingabedaten enthält Die Batch-Inferenz verarbeitet alle JSONL- und zugehörigen Inhaltsdateien an diesem S3-Speicherort, unabhängig davon, ob es sich bei dem Speicherort um einen S3-Ordner oder eine einzelne JSONL-Datei handelt. Weitere Informationen finden Sie unter Formatieren und Hochladen Ihrer Batch-Inferenzdaten.
outputDataConfig Zum Angeben des S3-Speicherorts, in den die Modellantworten geschrieben werden sollen

Die folgenden Felder sind optional:

Feld Anwendungsfall
timeoutDurationInHours Zum Angeben der Dauer in Stunden, nach der der Auftrag abgelaufen ist
tags Zum Angeben aller Tags, die dem Auftrag zugewiesen werden sollen Weitere Informationen finden Sie unter Markieren von Amazon-Bedrock-Ressourcen.
vpcConfig Zum Angeben der VPC-Konfiguration, die zum Schutz Ihrer Daten während des Auftrags verwendet werden soll Weitere Informationen finden Sie unter Schützen von Batch-Inferenzaufträgen mit einer VPC.
clientRequestToken Zur Sicherstellung, dass die API-Anfrage nur einmal durchgeführt wird Weitere Informationen finden Sie unter Sicherstellen von Idempotenz.

Die Antwort gibt einen jobArn zurück, den Sie verwenden können, um auf den Auftrag zu verweisen, wenn Sie andere Batch-Inferenz-bezogene API-Aufrufe durchführen.