Senden Sie eine Stapel von Prompts mit der OpenAI-Batch-API - Amazon Bedrock
Unterstützte Modelle und RegionenVoraussetzungenErstellen eines Batch-AuftragsAbrufen eines Batch-AuftragsAuflisten von Batch-AufträgenAbbrechen eines Batch-Auftrags

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Senden Sie eine Stapel von Prompts mit der OpenAI-Batch-API

Sie können einen Batch-Inferenzauftrag mithilfe der OpenAI-Create-Batch-API mit OpenAI-Modellen in Amazon Bedrock ausführen.

Sie können die OpenAI-Create-Batch-API wie folgt aufrufen:

  • Stellen Sie eine HTTP-Anfrage mit einem Amazon-Bedrock-Runtime-Endpunkt.

  • Verwenden Sie eine OpenAI-SDK-Anfrage mit einem Amazon-Bedrock-Runtime-Endpunkt.

Wählen Sie ein Thema aus, um mehr zu erfahren:

Unterstützte Regionen und Modelle für die OpenAI-Batch-API

Sie können die OpenAI-Create-Batch-API mit allen OpenAI-Modellen verwenden, die in Amazon Bedrock und in den AWS-Regionen unterstützt werden. Weitere Informationen zu unterstützten Modellen und Regionen finden Sie unter Unterstützte Basismodelle in Amazon Bedrock.

Voraussetzungen für die Verwendung der OpenAI-Batch-API

Wenn Sie Beispiele für die Verwendung der Batch-API in OpenAI sehen möchten, wählen Sie die Registerkarte mit Ihrer bevorzugten Methode aus und führen Sie dann die folgenden Schritte aus:

OpenAI SDK

  • Authentifizierung – Das OpenAI SDK unterstützt ausschließlich Authentifizierungen mit einem API-Schlüssel von Amazon Bedrock. Generieren Sie einen API-Schlüssel von Amazon Bedrock, um Ihre API-Anfrage zu authentifizieren. Weitere Informationen zu API-Schlüsseln von Amazon Bedrock und deren Generierung finden Sie unter Generieren von API-Schlüsseln von Amazon Bedrock für eine einfache Authentifizierung bei der Amazon-Bedrock-API.

  • Endpunkt – Suchen Sie den Endpunkt, der der AWS-Region entspricht, die in Runtime-Endpunkte und -kontingente von Amazon Bedrock verwendet werden soll. Wenn Sie ein AWS SDK verwenden, müssen Sie bei der Einrichtung des Clients möglicherweise nur den Regionscode und nicht den gesamten Endpunkt angeben.

  • Modellzugriff – Fordern Sie Zugriff auf ein Amazon-Bedrock-Modell an, das dieses Feature unterstützt. Weitere Informationen finden Sie unter Modellzugriff mit SDK und CLI verwalten.

  • Installieren eines OpenAI SDK – Weitere Informationen finden Sie in der OpenAI-Dokumentation unter Bibliotheken.

  • Batch-JSONL-Datei, die auf S3 hochgeladen wurde – Folgen Sie den Schritten unter Vorbereiten Ihrer Batch-Datei in der OpenAI-Dokumentation, um Ihre Batch-Datei mit dem korrekten Format vorzubereiten. Laden Sie sie anschließend in einen Amazon-S3-Bucket hoch.

  • IAM-Berechtigungen – Stellen Sie sicher, dass Sie die folgenden IAM-Identitäten mit den richtigen Berechtigungen besitzen:

HTTP request

  • Authentifizierung – Sie können sich entweder mit Ihren AWS-Anmeldeinformationen oder mit einem API-Schlüssel von Amazon Bedrock authentifizieren.

    Richten Sie Ihre AWS-Anmeldeinformationen ein oder generieren Sie einen API-Schlüssel von Amazon Bedrock, um Ihre Anforderung zu authentifizieren.

  • Endpunkt – Suchen Sie den Endpunkt, der der AWS-Region entspricht, die in Runtime-Endpunkte und -kontingente von Amazon Bedrock verwendet werden soll. Wenn Sie ein AWS SDK verwenden, müssen Sie bei der Einrichtung des Clients möglicherweise nur den Regionscode und nicht den gesamten Endpunkt angeben.

  • Modellzugriff – Fordern Sie Zugriff auf ein Amazon-Bedrock-Modell an, das dieses Feature unterstützt. Weitere Informationen finden Sie unter Modellzugriff mit SDK und CLI verwalten.

  • Batch-JSONL-Datei, die auf S3 hochgeladen wurde – Folgen Sie den Schritten unter Vorbereiten Ihrer Batch-Datei in der OpenAI-Dokumentation, um Ihre Batch-Datei mit dem korrekten Format vorzubereiten. Laden Sie sie anschließend in einen Amazon-S3-Bucket hoch.

  • IAM-Berechtigungen – Stellen Sie sicher, dass Sie die folgenden IAM-Identitäten mit den richtigen Berechtigungen besitzen:

So erstellen Sie einen OpenAI-Batch-Auftrag

Einzelheiten zur OpenAI-Create-Batch-API finden Sie in den folgenden Ressourcen in der OpenAI-Dokumentation:

  • Batch erstellen – Detailliert sowohl die Anfrage als auch die Antwort.

  • Das Anforderungsausgabeobjekt – Detailliert die Felder der generierten Ausgabe aus dem Batch-Auftrag. Beziehen Sie sich bei der Interpretation der Ergebnisse in Ihrem S3-Bucket auf diese Dokumentation.

So formulieren Sie die Anforderung

Beachten Sie bei der Formulierung der Batch-Inferenzanforderung die folgenden für Amazon Bedrock spezifischen Felder und Werte:

Anforderungskopfzeilen
Anfrage von Textparametern:

  • endpoint – Muss v1/chat/completions sein.

  • input_file_id – Gibt die S3-URI Ihrer JSONL-Batch-Datei an.

So finden Sie die generierten Ergebnisse

Die Antwort auf die Erstellung enthält eine Batch-ID. Die Ergebnisse und die Fehlerprotokollierung des Batch-Inferenzauftrags werden in den S3-Ordner geschrieben, der die Eingabedatei enthält. Die Ergebnisse befinden sich in einem Ordner mit demselben Namen wie die Batch-ID, wie in der folgenden Ordnerstruktur:

---- {batch_input_folder}
        |---- {batch_input}.jsonl
        |---- {batch_id}
	           |---- {batch_input}.jsonl.out
	           |---- {batch_input}.jsonl.err

Wenn Sie Beispiele für die Verwendung der Create-Batch-API in OpenAI mit verschiedenen Methoden sehen möchten, wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und führen Sie dann die folgenden Schritte aus:

OpenAI SDK (Python)

Gehen Sie wie folgt vor, um einen Batch-Auftrag mit dem OpenAI SDK zu erstellen:

  1. Importieren Sie das OpenAI SDK und richten Sie den Client mit den folgenden Feldern ein:

    • base_url – Stellen Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix /openai/v1 wie im folgenden Format vor:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key – Geben Sie einen Amazon-Bedrock-API-Schlüssel an.

    • default_headers – Wenn Sie Header einbeziehen müssen, können Sie diese als Schlüssel-Wert-Paare in dieses Objekt aufnehmen. Sie können auch Header unter extra_headers angeben, wenn Sie einen bestimmten API-Aufruf tätigen.

  2. Verwenden Sie die Methode batches.create () mit dem Client.

Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen:

  • api_key – Ersetzen Sie $AWS_BEARER_TOKEN_BEDROCK durch Ihren tatsächlichen API-Schlüssel.

  • X-Amzn-BedrockRoleArn – Ersetzen Sie arn:aws:iam::123456789012:role/BatchServiceRole durch die tatsächliche Servicerolle für Batch-Inferenz, die Sie eingerichtet haben.

  • input_file_id – Ersetzen Sie s3://amzn-s3-demo-bucket/openai-input.jsonl durch die tatsächliche S3-URI, wo Sie Ihre JSONL-Batch-Datei hochgeladen haben.

Das Beispiel ruft die OpenAI-Create-Batch-Job-API in us-west-2 auf und enthält ein einzelnes Metadatum.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK", # Replace with actual API key
    default_headers={
        "X-Amzn-Bedrock-RoleArn": "arn:aws:iam::123456789012:role/BatchServiceRole" # Replace with actual service role ARN
    }
)

job = client.batches.create(
    input_file_id="s3://amzn-s3-demo-bucket/openai-input.jsonl", # Replace with actual S3 URI
    endpoint="/v1/chat/completions",
    completion_window="24h",
    metadata={
        "description": "test input"
    },
    extra_headers={
        "X-Amzn-Bedrock-ModelId": "openai.gpt-oss-20b-1:0",
    }
)
print(job)
HTTP request

Gehen Sie wie folgt vor, um eine Chat-Vervollständigung mit einer direkten HTTP-Anfrage zu erstellen:

  1. Verwenden Sie die Methode POST und geben Sie die URL an, indem Sie dem Amazon-Bedrock-Runtime-Endpunkt das Präfix /openai/v1/batches wie im folgenden Format voranstellen:

    https://${bedrock-runtime-endpoint}/openai/v1/batches

  2. Geben Sie Ihre AWS-Anmeldeinformationen oder einen Amazon-Bedrock-API-Schlüssel im Authorization-Header an.

Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen:

  • Authorization – Ersetzen Sie $AWS_BEARER_TOKEN_BEDROCK durch Ihren tatsächlichen API-Schlüssel.

  • X-Amzn-BedrockRoleArn – Ersetzen Sie arn:aws:iam::123456789012:role/BatchServiceRole durch die tatsächliche Servicerolle für Batch-Inferenz, die Sie eingerichtet haben.

  • input_file_id – Ersetzen Sie s3://amzn-s3-demo-bucket/openai-input.jsonl durch die tatsächliche S3-URI, wo Sie Ihre JSONL-Batch-Datei hochgeladen haben.

Das folgende Beispiel ruft die Create-Batch-Job-API in us-west-2 auf und enthält ein einzelnes Metadatum:

curl -X POST 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \  
    -H 'Content-Type: application/json' \
    -H 'X-Amzn-Bedrock-ModelId: openai.gpt-oss-20b-1:0' \
    -H 'X-Amzn-Bedrock-RoleArn: arn:aws:iam::123456789012:role/BatchServiceRole' \  
    -d '{    
    "input_file_id": "s3://amzn-s3-demo-bucket/openai-input.jsonl",    
    "endpoint": "/v1/chat/completions",    
    "completion_window": "24h",
    "metadata": {"description": "test input"}  
}'

So rufen Sie einen OpenAI-Batch-Auftrag ab

Einzelheiten zur Anfrage und Antwort der OpenAI-Retrieve-Batch-API finden Sie unter Batch abrufen.

Wenn Sie die Anfrage stellen, geben Sie die ID des Batch-Auftrags an, für den Sie Informationen abrufen möchten. Die Antwort gibt Informationen über einen Batch-Auftrag zurück, einschließlich der Ausgabe- und Fehlerdateinamen, die Sie in Ihren S3-Buckets einsehen können.

Wenn Sie Beispiele für die Verwendung der Retrieve-Batch-API in OpenAI mit verschiedenen Methoden sehen möchten, wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und führen Sie dann die folgenden Schritte aus:

OpenAI SDK (Python)

Gehen Sie wie folgt vor, um einen Batch-Auftrag mit dem OpenAI SDK abzurufen:

  1. Importieren Sie das OpenAI SDK und richten Sie den Client mit den folgenden Feldern ein:

    • base_url – Stellen Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix /openai/v1 wie im folgenden Format vor:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key – Geben Sie einen Amazon-Bedrock-API-Schlüssel an.

    • default_headers – Wenn Sie Header einbeziehen müssen, können Sie diese als Schlüssel-Wert-Paare in dieses Objekt aufnehmen. Sie können auch Header unter extra_headers angeben, wenn Sie einen bestimmten API-Aufruf tätigen.

  2. Verwenden Sie die Methode batches.retrieve() mit dem Client und geben Sie die ID des Batches an, für den Informationen abgerufen werden sollen.

Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen:

  • api_key – Ersetzen Sie $AWS_BEARER_TOKEN_BEDROCK durch Ihren tatsächlichen API-Schlüssel.

  • batch_id – Ersetzen Sie $AWS_BEARER_TOKEN_BEDROCK durch Ihren tatsächlichen API-Schlüssel.

Im Beispiel wird die OpenAI-Retrieve-Batch-Job-API für einen Batch-Auftrag in us-west-2 aufgerufen, dessen ID batch_abc123 ist.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID

print(job)
HTTP request

Gehen Sie wie folgt vor, um einen Batch-Auftrag mit einer direkten HTTP-Anfrage abzurufen:

  1. Verwenden Sie die Methode GET und geben Sie die URL an, indem Sie dem Amazon-Bedrock-Runtime-Endpunkt das Präfix /openai/v1/batches/${batch_id} wie im folgenden Format voranstellen:

    https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123

  2. Geben Sie Ihre AWS-Anmeldeinformationen oder einen Amazon-Bedrock-API-Schlüssel im Authorization-Header an.

Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen:

  • Authorization – Ersetzen Sie $AWS_BEARER_TOKEN_BEDROCK durch Ihren tatsächlichen API-Schlüssel.

  • batch_abc123 – Ersetzen Sie diesen Wert im Pfad durch die tatsächliche ID Ihres Batch-Auftrags.

Im folgenden Beispiel wird die OpenAI-Retrieve-Batch-API für einen Batch-Auftrag in us-west-2 aufgerufen, dessen ID batch_abc123 ist.

curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'

So listen Sie OpenAI-Batch-Aufträge auf

Einzelheiten zur Anfrage und Antwort der OpenAI-List-Batches-API finden Sie unter Batches auflisten. Die Antwort gibt eine Reihe von Informationen über Ihre Batch-Aufträge zurück.

Wenn Sie die Anfrage stellen, können Sie Abfrageparameter angeben, um die Ergebnisse zu filtern. Die Antwort gibt Informationen über einen Batch-Auftrag zurück, einschließlich der Ausgabe- und Fehlerdateinamen, die Sie in Ihren S3-Buckets einsehen können.

Wenn Sie Beispiele für die Verwendung der List-Batches-API in OpenAI mit verschiedenen Methoden sehen möchten, wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und führen Sie dann die folgenden Schritte aus:

OpenAI SDK (Python)

Gehen Sie wie folgt vor, um Batch-Aufträge mit dem OpenAI SDK aufzulisten:

  1. Importieren Sie das OpenAI SDK und richten Sie den Client mit den folgenden Feldern ein:

    • base_url – Stellen Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix /openai/v1 wie im folgenden Format vor:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key – Geben Sie einen Amazon-Bedrock-API-Schlüssel an.

    • default_headers – Wenn Sie Header einbeziehen müssen, können Sie diese als Schlüssel-Wert-Paare in dieses Objekt aufnehmen. Sie können auch Header unter extra_headers angeben, wenn Sie einen bestimmten API-Aufruf tätigen.

  2. Verwenden Sie die Methode batches.list() mit dem Client. Sie können die folgenden optionalen Parameter beliebig angeben:

Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen:

  • api_key – Ersetzen Sie $AWS_BEARER_TOKEN_BEDROCK durch Ihren tatsächlichen API-Schlüssel.

Das Beispiel ruft die OpenAI-List-Batch-Jobs-API in us-west-2 auf und gibt ein Limit von 2 Ergebnissen für die Rückgabe an.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID

print(job)
HTTP request

Gehen Sie wie folgt vor, um Batch-Aufträge mit einer direkten HTTP-Anfrage aufzulisten:

  1. Verwenden Sie die Methode GET und geben Sie die URL an, indem Sie dem Amazon-Bedrock-Runtime-Endpunkt das Präfix /openai/v1/batches wie im folgenden Format voranstellen:

    https://${bedrock-runtime-endpoint}/openai/v1/batches

    Sie können die optionalen Abfrageparameter beliebig angeben.

  2. Geben Sie Ihre AWS-Anmeldeinformationen oder einen Amazon-Bedrock-API-Schlüssel im Authorization-Header an.

Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen:

  • Authorization – Ersetzen Sie $AWS_BEARER_TOKEN_BEDROCK durch Ihren tatsächlichen API-Schlüssel.

Das folgende Beispiel ruft die OpenAI-List-Batches-API in us-west-2 auf und gibt ein Limit von 2 Ergebnissen für die Rückgabe an.

curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'

So brechen Sie einen OpenAI-Batch-Auftrag ab

Einzelheiten zur Anfrage und Antwort auf die OpenAI-Cancel-Batch-API finden Sie unter Batch abbrechen. Die Antwort gibt Informationen über den abgebrochenen Batch-Auftrag zurück.

Wenn Sie die Anforderung stellen, geben Sie die ID des Batch-Auftrags an, den Sie abbrechen möchten.

Wenn Sie Beispiele für die Verwendung der Cancel-Batch-API in OpenAI mit verschiedenen Methoden sehen möchten, wählen Sie die Registerkarte für Ihre bevorzugte Methode aus und führen Sie dann die folgenden Schritte aus:

OpenAI SDK (Python)

Gehen Sie wie folgt vor, um einen Batch-Auftrag mit dem OpenAI SDK abzubrechen:

  1. Importieren Sie das OpenAI SDK und richten Sie den Client mit den folgenden Feldern ein:

    • base_url – Stellen Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix /openai/v1 wie im folgenden Format vor:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key – Geben Sie einen Amazon-Bedrock-API-Schlüssel an.

    • default_headers – Wenn Sie Header einbeziehen müssen, können Sie diese als Schlüssel-Wert-Paare in dieses Objekt aufnehmen. Sie können auch Header unter extra_headers angeben, wenn Sie einen bestimmten API-Aufruf tätigen.

  2. Verwenden Sie die Methode batches.cancel() mit dem Client und geben Sie die ID des Batches an, für den Informationen abgerufen werden sollen.

Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen:

  • api_key – Ersetzen Sie $AWS_BEARER_TOKEN_BEDROCK durch Ihren tatsächlichen API-Schlüssel.

  • batch_id – Ersetzen Sie $AWS_BEARER_TOKEN_BEDROCK durch Ihren tatsächlichen API-Schlüssel.

Im Beispiel wird die OpenAI-Cancel-Batch-Job-API für einen Batch-Auftrag in us-west-2 aufgerufen, dessen ID batch_abc123 ist.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.cancel(batch_id="batch_abc123") # Replace with actual ID

print(job)
HTTP request

Gehen Sie wie folgt vor, um einen Batch-Auftrag mit einer direkten HTTP-Anfrage abzubrechen:

  1. Verwenden Sie die Methode POST und geben Sie die URL an, indem Sie dem Amazon-Bedrock-Runtime-Endpunkt das Präfix /openai/v1/batches/${batch_id}/cancel wie im folgenden Format voranstellen:

    https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123/cancel

  2. Geben Sie Ihre AWS-Anmeldeinformationen oder einen Amazon-Bedrock-API-Schlüssel im Authorization-Header an.

Ersetzen Sie die Platzhalter in den folgenden Feldern, bevor Sie das folgende Beispiel ausführen:

  • Authorization – Ersetzen Sie $AWS_BEARER_TOKEN_BEDROCK durch Ihren tatsächlichen API-Schlüssel.

  • batch_abc123 – Ersetzen Sie diesen Wert im Pfad durch die tatsächliche ID Ihres Batch-Auftrags.

Im folgenden Beispiel wird die OpenAI-Cancel-Batch-API für einen Batch-Auftrag in us-west-2 aufgerufen, dessen ID batch_abc123 ist.

curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123/cancel' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'