Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Formatieren und Hochladen Ihrer Batch-Inferenzdaten
Sie müssen Ihre Batch-Inferenzdaten zu einem S3-Speicherort hinzufügen, den Sie auswählen oder angeben, wenn Sie einen Auftrag zum Aufruf eines Modells übermitteln. Der S3-Speicherort muss folgenden Elemente enthalten:
+ Mindestens eine JSONL-Datei, die die Modelleingaben definiert. Eine JSONL-Datei enthält Zeilen mit JSON-Objekten. Ihre JSONL-Datei muss die Erweiterung .jsonl sowie folgendes Format aufweisen:
```
{ "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
...
```
Jede Zeile enthält ein JSON-Objekt mit einem `recordId` Feld und einem `modelInput` Feld. Das Format des `modelInput` JSON-Objekts hängt vom Modellaufruftyp ab, den Sie bei [der Erstellung des Batch-Inferenzjobs](batch-inference-create.md) wählen. Wenn Sie den `InvokeModel` Typ (Standard) verwenden, muss das Format mit dem `body` Feld für das Modell übereinstimmen, das Sie in der `InvokeModel` Anforderung verwenden (siehe[Inferenzanforderungsparameter und Antwortfelder für Basismodelle](model-parameters.md)). Wenn Sie den `Converse` Typ verwenden, muss das Format mit dem Anfragetext der [Converse-API](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html) übereinstimmen.
**Anmerkung**
Wenn Sie das `recordId`-Feld auslassen, fügt Amazon Bedrock es der Ausgabe hinzu.
Es kann nicht garantiert werden, dass die Reihenfolge der Datensätze in der JSONL-Ausgabedatei mit der Reihenfolge der Datensätze in der JSONL-Eingabedatei übereinstimmt.
Sie geben das Modell an, das Sie verwenden möchten, wenn Sie den [Batch-Inferenzauftrag](batch-inference-create.md) erstellen.
+ (Wenn Ihr Eingabeinhalt einen Amazon S3 S3-Speicherort enthält) Bei einigen Modellen können Sie den Inhalt der Eingabe als S3-Speicherort definieren. Siehe [Beispiel einer Videoeingabe für Amazon Nova](#batch-inference-data-ex-s3).
**Warnung**
Wenn Sie S3 URIs in Ihren Eingabeaufforderungen verwenden, müssen sich alle Ressourcen im selben S3-Bucket und Ordner befinden. Der `InputDataConfig` Parameter muss den Ordnerpfad angeben, der alle verknüpften Ressourcen (wie Videos oder Bilder) enthält, nicht nur eine einzelne `.jsonl` Datei. Beachten Sie, dass bei S3-Pfaden zwischen Groß- und Kleinschreibung unterschieden wird. Stellen Sie daher sicher, dass Sie der genauen Ordnerstruktur URIs entsprechen.
Stellen Sie sicher, dass Ihre Eingaben den Batch-Inferenz-Kontingenten entsprechen. Sie können unter [Amazon Bedrock Service Quotas](https://docs.aws.amazon.com/general/latest/gr/bedrock.html#limits_bedrock) nach folgenden Kontingenten suchen:
+ **Mindestanzahl von Datensätzen pro Batch-Inferenzauftrag** – Die Mindestanzahl von Datensätzen (JSON-Objekten) für alle JSONL-Dateien im Auftrag
+ **Datensätze pro Eingabedatei pro Batch-Inferenzauftrag** – Die maximale Anzahl von Datensätzen (JSON-Objekten) in einer einzelnen JSONL-Datei im Auftrag
+ **Datensätze pro Batch-Inferenzauftrag** – Die maximale Anzahl von Datensätzen (JSON-Objekten) innerhalb von JSONL-Dateien im Auftrag
+ **Größe der Eingabedatei der Batch-Inferenz** – Die maximale Größe einer einzelnen Datei im Auftrag
+ **Auftragsgröße der Batch-Inferenz** – Die maximale kumulative Größe aller Eingabedateien
Sehen Sie sich zum besseren Verständnis der Einrichtung von Batch-Inferenzeingaben die folgenden Beispiele an:
## Beispiel für eine Texteingabe für Anthropic Claude 3 Haiku
Wenn Sie beabsichtigen, Batch-Inferenzen mit dem [Nachrichten-API](model-parameters-anthropic-claude-messages.md)-Format für das Modell Anthropic Claude 3 Haiku auszuführen, können Sie eine JSONL-Datei bereitstellen, die das folgende JSON-Objekt als eine der Zeilen enthält:
```
{
"recordId": "CALL0000001",
"modelInput": {
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 1024,
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "Summarize the following call transcript: ..."
}
]
}
]
}
}
```
## Beispiel einer Videoeingabe für Amazon Nova
Wenn Sie beabsichtigen, Batch-Inferenzen für Videoeingaben mit den Amazon Nova Lite- oder Amazon Nova Pro-Modellen auszuführen, können Sie das Video in Bytes oder als S3-Speicherort in der JSONL-Datei definieren. Angenommen, Sie verfügen über einen S3-Bucket, dessen Pfad `s3://batch-inference-input-bucket` lautet und der die folgenden Dateien enthält:
```
s3://batch-inference-input-bucket/
├── videos/
│ ├── video1.mp4
│ ├── video2.mp4
│ ├── ...
│ └── video50.mp4
└── input.jsonl
```
Ein Beispieldatensatz aus der `input.jsonl`-Datei wäre der folgende:
```
{
"recordId": "RECORD01",
"modelInput": {
"messages": [
{
"role": "user",
"content": [
{
"text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
},
{
"video": {
"format": "mp4",
"source": {
"s3Location": {
"uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
"bucketOwner": "111122223333"
}
}
}
}
]
}
]
}
}
```
Wenn Sie den Batch-Inferenzjob erstellen, müssen Sie den Ordnerpfad `s3://batch-inference-input-bucket` in Ihrem `InputDataConfig` Parameter angeben. Die Batch-Inferenz verarbeitet die `input.jsonl` Datei an diesem Speicherort zusammen mit allen Ressourcen, auf die verwiesen wird (z. B. die Videodateien im `videos` Unterordner).
Die folgenden Ressourcen enthalten weitere Informationen über das Übermitteln von Videoeingaben für die Batch-Inferenz:
+ Informationen zur Validierung von Amazon S3 URIs in einer Eingabeanforderung finden Sie im [Amazon S3 S3-URL-Parsing-Blog](https://aws.amazon.com/blogs/devops/s3-uri-parsing-is-now-available-in-aws-sdk-for-java-2-x/).
+ Weitere Informationen zur Einrichtung von Aufrufaufzeichnungen für das Verständnis von Videos mit Nova finden Sie in den Richtlinien zur [Amazon Novavisuellen Eingabeaufforderung](https://docs.aws.amazon.com/nova/latest/userguide/prompting-vision-prompting.html).
## Beispiel für eine Converse-Eingabe
Wenn Sie `Converse` bei der Erstellung des Batch-Inferenzjobs den Modellaufruftyp auf festlegen, muss das `modelInput` Feld das Converse API-Anforderungsformat verwenden. Das folgende Beispiel zeigt einen JSONL-Datensatz für einen Converse-Batchinferenzjob:
```
{
"recordId": "CALL0000001",
"modelInput": {
"messages": [
{
"role": "user",
"content": [
{
"text": "Summarize the following call transcript: ..."
}
]
}
],
"inferenceConfig": {
"maxTokens": 1024
}
}
}
```
Die vollständige Liste der Felder, die im Converse-Anfragetext unterstützt werden, finden Sie in der API-Referenz unter [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html).
Im folgenden Thema wird beschrieben, wie Sie S3-Zugriffs- und Batch-Inferenzberechtigungen für eine Identität einrichten, um eine Batch-Inferenz durchführen zu können.