Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Formatieren und Hochladen Ihrer Batch-Inferenzdaten

Sie müssen Ihre Batch-Inferenzdaten zu einem S3-Speicherort hinzufügen, den Sie auswählen oder angeben, wenn Sie einen Auftrag zum Aufruf eines Modells übermitteln. Der S3-Speicherort muss folgenden Elemente enthalten:

Stellen Sie sicher, dass Ihre Eingaben den Batch-Inferenzquoten entsprechen. Sie können unter Amazon Bedrock Service Quotas nach folgenden Kontingenten suchen:

Sehen Sie sich zum besseren Verständnis der Einrichtung von Batch-Inferenzeingaben die folgenden Beispiele an:

Beispiel für eine Texteingabe für   Anthropic Claude 3 Haiku

Wenn Sie beabsichtigen, Batch-Inferenzen mit dem Nachrichten-API-Format für das Modell Anthropic Claude 3 Haiku auszuführen, können Sie eine JSONL-Datei bereitstellen, die das folgende JSON-Objekt als eine der Zeilen enthält:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Beispiel für eine Videoeingabe für Amazon Nova

Wenn Sie beabsichtigen, Batch-Inferenzen für Videoeingaben mit den Amazon Nova Lite- oder Amazon Nova Pro-Modellen auszuführen, können Sie das Video in Bytes oder als S3-Speicherort in der JSONL-Datei definieren. Angenommen, Sie verfügen über einen S3-Bucket, dessen Pfad s3://batch-inference-input-bucket lautet und der die folgenden Dateien enthält:

s3://batch-inference-input-bucket/
├── videos/
│   ├── video1.mp4
│   ├── video2.mp4
│   ├── ...
│   └── video50.mp4
└── input.jsonl

Ein Beispieldatensatz aus der input.jsonl-Datei wäre der folgende:

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Wenn Sie den Batch-Inferenz-Job erstellen, müssen Sie den Ordnerpfad s3://batch-inference-input-bucket in Ihrem InputDataConfig Parameter angeben. Die Batch-Inferenz verarbeitet die input.jsonl Datei an diesem Speicherort zusammen mit allen referenzierten Ressourcen (z. B. den Videodateien im videos Unterordner).

Die folgenden Ressourcen enthalten weitere Informationen über das Übermitteln von Videoeingaben für die Batch-Inferenz:

Beispiel für eine Converse-Eingabe

Wenn Sie Converse beim Erstellen des Batch-Inferenz-Jobs den Modellaufruftyp auf festlegen, muss das modelInput Feld das Converse-API-Anforderungsformat verwenden. Das folgende Beispiel zeigt einen JSONL-Datensatz für einen Converse-Batch-Inferenz-Job:

{
    "recordId": "CALL0000001",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "Summarize the following call transcript: ..."
                    }
                ]
            }
        ],
        "inferenceConfig": {
            "maxTokens": 1024
        }
    }
}

Eine vollständige Liste der Felder, die im Anforderungstext von Converse unterstützt werden, finden Sie in der API-Referenz unter Converse.

Im folgenden Thema wird beschrieben, wie Sie S3-Zugriffs- und Batch-Inferenzberechtigungen für eine Identität einrichten, um eine Batch-Inferenz durchführen zu können.