Formatieren und Hochladen Ihrer Batch-Inferenzdaten - Amazon Bedrock
Beispiel für eine Texteingabe für Anthropic Claude 3 HaikuBeispiel einer Videoeingabe für Amazon Nova

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Formatieren und Hochladen Ihrer Batch-Inferenzdaten

Sie müssen Ihre Batch-Inferenzdaten zu einem S3-Speicherort hinzufügen, den Sie auswählen oder angeben, wenn Sie einen Auftrag zum Aufruf eines Modells übermitteln. Der S3-Speicherort muss folgenden Elemente enthalten:

  • Mindestens eine JSONL-Datei, die die Modelleingaben definiert. Eine JSONL-Datei enthält Zeilen mit JSON-Objekten. Ihre JSONL-Datei muss die Erweiterung .jsonl sowie folgendes Format aufweisen:

    { "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
...

    Jede Zeile enthält ein JSON-Objekt mit einem recordId-Feld und einem modelInput-Feld, das den Anfragetext für eine Eingabe enthält, die Sie übermitteln möchten. Das Format des JSON-Objekts modelInput muss mit dem body-Feld für das Modell übereinstimmen, das Sie in der InvokeModel-Anfrage verwenden. Weitere Informationen finden Sie unter Inferenzanforderungsparameter und Antwortfelder für Basismodelle.

    Anmerkung

    • Wenn Sie das recordId-Feld auslassen, fügt Amazon Bedrock es der Ausgabe hinzu.

    • Es kann nicht garantiert werden, dass die Reihenfolge der Datensätze in der JSONL-Ausgabedatei mit der Reihenfolge der Datensätze in der JSONL-Eingabedatei übereinstimmt.

    • Sie geben das Modell an, das Sie verwenden möchten, wenn Sie den Batch-Inferenzauftrag erstellen.

  • (Wenn Ihr Eingabeinhalt einen Amazon S3 S3-Speicherort enthält) Bei einigen Modellen können Sie den Inhalt der Eingabe als S3-Speicherort definieren. Siehe Beispiel einer Videoeingabe für Amazon Nova.

    Warnung

    Wenn Sie S3 URIs in Ihren Eingabeaufforderungen verwenden, müssen sich alle Ressourcen im selben S3-Bucket und Ordner befinden. Der InputDataConfig Parameter muss den Ordnerpfad angeben, der alle verknüpften Ressourcen (wie Videos oder Bilder) enthält, nicht nur eine einzelne .jsonl Datei. Beachten Sie, dass bei S3-Pfaden zwischen Groß- und Kleinschreibung unterschieden wird. Stellen Sie daher sicher, dass Sie der genauen Ordnerstruktur URIs entsprechen.

Stellen Sie sicher, dass Ihre Eingaben den Batch-Inferenz-Kontingenten entsprechen. Sie können unter Amazon Bedrock Service Quotas nach folgenden Kontingenten suchen:

  • Mindestanzahl von Datensätzen pro Batch-Inferenzauftrag – Die Mindestanzahl von Datensätzen (JSON-Objekten) für alle JSONL-Dateien im Auftrag

  • Datensätze pro Eingabedatei pro Batch-Inferenzauftrag – Die maximale Anzahl von Datensätzen (JSON-Objekten) in einer einzelnen JSONL-Datei im Auftrag

  • Datensätze pro Batch-Inferenzauftrag – Die maximale Anzahl von Datensätzen (JSON-Objekten) innerhalb von JSONL-Dateien im Auftrag

  • Größe der Eingabedatei der Batch-Inferenz – Die maximale Größe einer einzelnen Datei im Auftrag

  • Auftragsgröße der Batch-Inferenz – Die maximale kumulative Größe aller Eingabedateien

Sehen Sie sich zum besseren Verständnis der Einrichtung von Batch-Inferenzeingaben die folgenden Beispiele an:

Beispiel für eine Texteingabe für Anthropic Claude 3 Haiku

Wenn Sie beabsichtigen, Batch-Inferenzen mit dem Nachrichten-API-Format für das Modell Anthropic Claude 3 Haiku auszuführen, können Sie eine JSONL-Datei bereitstellen, die das folgende JSON-Objekt als eine der Zeilen enthält:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Beispiel einer Videoeingabe für Amazon Nova

Wenn Sie beabsichtigen, Batch-Inferenzen für Videoeingaben mit den Amazon Nova Lite- oder Amazon Nova Pro-Modellen auszuführen, können Sie das Video in Bytes oder als S3-Speicherort in der JSONL-Datei definieren. Angenommen, Sie verfügen über einen S3-Bucket, dessen Pfad s3://batch-inference-input-bucket lautet und der die folgenden Dateien enthält:

s3://batch-inference-input-bucket/
├── videos/
│   ├── video1.mp4
│   ├── video2.mp4
│   ├── ...
│   └── video50.mp4
└── input.jsonl

Ein Beispieldatensatz aus der input.jsonl-Datei wäre der folgende:

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Wenn Sie den Batch-Inferenzjob erstellen, müssen Sie den Ordnerpfad s3://batch-inference-input-bucket in Ihrem InputDataConfig Parameter angeben. Die Batch-Inferenz verarbeitet die input.jsonl Datei an diesem Speicherort zusammen mit allen Ressourcen, auf die verwiesen wird (z. B. die Videodateien im videos Unterordner).

Die folgenden Ressourcen enthalten weitere Informationen über das Übermitteln von Videoeingaben für die Batch-Inferenz:

Im folgenden Thema wird beschrieben, wie Sie S3-Zugriffs- und Batch-Inferenzberechtigungen für eine Identität einrichten, um eine Batch-Inferenz durchführen zu können.