Senden Sie einen Batch von Eingabeaufforderungen mit der OpenAI Batch-API - Amazon Bedrock
Unterstützte Modelle und RegionenVoraussetzungenErstellen Sie einen Batch-JobRufen Sie einen Batch-Job abBatch-Jobs auflistenStornieren Sie einen Batch-Job

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Senden Sie einen Batch von Eingabeaufforderungen mit der OpenAI Batch-API

Sie können einen Batch-Inferenzjob mithilfe der OpenAICreate Batch API mit Amazon OpenAI Bedrock-Modellen ausführen.

Sie können die OpenAI Create Batch API auf folgende Weise aufrufen:

  • Stellen Sie eine HTTP-Anfrage mit einem Amazon Bedrock Runtime-Endpunkt.

  • Verwenden Sie eine OpenAI SDK-Anfrage mit einem Amazon Bedrock Runtime-Endpunkt.

Wählen Sie ein Thema aus, um mehr zu erfahren:

Unterstützte Modelle und Regionen für die OpenAI Batch-API

Sie können die OpenAI Create Batch API mit allen OpenAI Modellen verwenden, die in Amazon Bedrock und in den AWS Regionen unterstützt werden, die diese Modelle unterstützen. Weitere Informationen zu unterstützten Modellen und Regionen finden Sie unterUnterstützte Basismodelle in Amazon Bedrock.

Voraussetzungen für die Verwendung der OpenAI Batch-API

Um die Voraussetzungen für die Verwendung der OpenAI Batch-API-Operationen zu sehen, wählen Sie die Registerkarte für Ihre bevorzugte Methode und folgen Sie dann den Schritten:

OpenAI SDK

  • Authentifizierung — Das OpenAI SDK unterstützt nur die Authentifizierung mit einem Amazon Bedrock API-Schlüssel. Generieren Sie einen Amazon Bedrock API-Schlüssel, um Ihre Anfrage zu authentifizieren. Weitere Informationen zu Amazon Bedrock API-Schlüsseln und deren Generierung finden Sie unterGenerieren Sie Amazon Bedrock API-Schlüssel, um sich einfach bei der Amazon Bedrock API zu authentifizieren.

  • Endpunkt — Finden Sie den Endpunkt, der der AWS Region entspricht, die in Amazon Bedrock Runtime-Endpunkten und -Kontingenten verwendet werden soll. Wenn Sie ein AWS SDK verwenden, müssen Sie bei der Einrichtung des Clients möglicherweise nur den Regionalcode und nicht den gesamten Endpunkt angeben.

  • Modellzugriff — Fordern Sie Zugriff auf ein Amazon Bedrock-Modell an, das diese Funktion unterstützt. Weitere Informationen finden Sie unter Zugriff auf Amazon Bedrock Foundation-Modelle hinzufügen oder entfernen.

  • Installieren Sie ein OpenAI SDK — Weitere Informationen finden Sie in der OpenAI Dokumentation unter Bibliotheken.

  • Batch-JSONL-Datei, die auf S3 hochgeladen wurde — Folgen Sie den Schritten unter Bereite deine Batch-Datei in der OpenAI Dokumentation, um deine Batch-Datei mit dem richtigen Format vorzubereiten. Laden Sie es dann in einen Amazon S3 S3-Bucket hoch.

  • IAM-Berechtigungen — Stellen Sie sicher, dass Sie über die folgenden IAM-Identitäten mit den richtigen Berechtigungen verfügen:

HTTP request

  • Authentifizierung — Sie können sich entweder mit Ihren AWS Anmeldeinformationen oder mit einem Amazon Bedrock API-Schlüssel authentifizieren.

    Richten Sie Ihre AWS Anmeldeinformationen ein oder generieren Sie einen Amazon Bedrock API-Schlüssel, um Ihre Anfrage zu authentifizieren.

  • Endpunkt — Finden Sie den Endpunkt, der der AWS Region entspricht, die in Amazon Bedrock Runtime-Endpunkten und -Kontingenten verwendet werden soll. Wenn Sie ein AWS SDK verwenden, müssen Sie bei der Einrichtung des Clients möglicherweise nur den Regionalcode und nicht den gesamten Endpunkt angeben.

  • Modellzugriff — Fordern Sie Zugriff auf ein Amazon Bedrock-Modell an, das diese Funktion unterstützt. Weitere Informationen finden Sie unter Zugriff auf Amazon Bedrock Foundation-Modelle hinzufügen oder entfernen.

  • Batch-JSONL-Datei, die auf S3 hochgeladen wurde — Folgen Sie den Schritten unter Bereite deine Batch-Datei in der OpenAI Dokumentation, um deine Batch-Datei mit dem richtigen Format vorzubereiten. Laden Sie es dann in einen Amazon S3 S3-Bucket hoch.

  • IAM-Berechtigungen — Stellen Sie sicher, dass Sie über die folgenden IAM-Identitäten mit den richtigen Berechtigungen verfügen:

Erstellen Sie einen Batch-Job OpenAI

Einzelheiten zur OpenAI Create Batch-API finden Sie in den folgenden Ressourcen in der OpenAI Dokumentation:

  • Batch erstellen — Detailliert sowohl die Anfrage als auch die Antwort.

  • Das Anforderungsausgabeobjekt — Detailliert die Felder der generierten Ausgabe aus dem Batch-Job. Beziehen Sie sich bei der Interpretation der Ergebnisse in Ihrem S3-Bucket auf diese Dokumentation.

Erstellen Sie die Anfrage

Beachten Sie bei der Erstellung der Batch-Inferenzanforderung die folgenden Amazon Bedrock-spezifischen Felder und Werte:

Anfordern von Headern
Körperparameter anfordern:

  • Endpunkt — Muss seinv1/chat/completions.

  • input_file_id — Geben Sie den S3-URI Ihrer Batch-JSONL-Datei an.

Findet die generierten Ergebnisse

Die Antwort auf die Erstellung enthält eine Batch-ID. Die Ergebnisse und die Fehlerprotokollierung des Batch-Inferenzjobs werden in den S3-Ordner geschrieben, der die Eingabedatei enthält. Die Ergebnisse befinden sich in einem Ordner mit demselben Namen wie die Batch-ID, wie in der folgenden Ordnerstruktur:

---- {batch_input_folder}
        |---- {batch_input}.jsonl
        |---- {batch_id}
	           |---- {batch_input}.jsonl.out
	           |---- {batch_input}.jsonl.err

Um Beispiele für die Verwendung der OpenAI Create Batch API mit verschiedenen Methoden zu sehen, wählen Sie die Registerkarte für Ihre bevorzugte Methode und folgen Sie dann den Schritten:

OpenAI SDK (Python)

Gehen Sie wie folgt vor, um einen Batch-Job mit dem OpenAI SDK zu erstellen:

  1. Importieren Sie das OpenAI SDK und richten Sie den Client mit den folgenden Feldern ein:

    • base_url— Stellen Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix vor/openai/v1, wie im folgenden Format:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key— Geben Sie einen Amazon Bedrock API-Schlüssel an.

    • default_headers— Wenn Sie Header einbeziehen müssen, können Sie sie als Schlüssel-Wert-Paare in dieses Objekt aufnehmen. Sie können auch Header in der angeben, extra_headers wenn Sie einen bestimmten API-Aufruf tätigen.

  2. Verwenden Sie die Methode batches.create () mit dem Client.

Bevor Sie das folgende Beispiel ausführen, ersetzen Sie die Platzhalter in den folgenden Feldern:

  • api_key — Ersetze es $AWS_BEARER_TOKEN_BEDROCK durch deinen tatsächlichen API-Schlüssel.

  • X-Amzn-BedrockRoleArn — arn:aws:iam::123456789012:role/BatchServiceRole Ersetzen Sie durch die tatsächliche Batch-Inferenz-Servicerolle, die Sie eingerichtet haben.

  • input_file_id — Ersetzen Sie s3://amzn-s3-demo-bucket/openai-input.jsonl es durch den tatsächlichen S3-URI, in den Sie Ihre Batch-JSONL-Datei hochgeladen haben.

Das Beispiel ruft die OpenAI Create Batch Job API in auf us-west-2 und enthält ein Stück Metadaten.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK", # Replace with actual API key
    default_headers={
        "X-Amzn-Bedrock-RoleArn": "arn:aws:iam::123456789012:role/BatchServiceRole" # Replace with actual service role ARN
    }
)

job = client.batches.create(
    input_file_id="s3://amzn-s3-demo-bucket/openai-input.jsonl", # Replace with actual S3 URI
    endpoint="/v1/chat/completions",
    completion_window="24h",
    metadata={
        "description": "test input"
    },
    extra_headers={
        "X-Amzn-Bedrock-ModelId": "openai.gpt-oss-20b-1:0",
    }
)
print(job)
HTTP request

Gehen Sie wie folgt vor, um einen Chat-Abschluss mit einer direkten HTTP-Anfrage zu erstellen:

  1. Verwenden Sie die POST-Methode und geben Sie die URL an, indem Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix /openai/v1/batches voranstellen, wie im folgenden Format:

    https://${bedrock-runtime-endpoint}/openai/v1/batches

  2. Geben Sie Ihre AWS Anmeldeinformationen oder einen Amazon Bedrock API-Schlüssel in der Authorization Kopfzeile an.

Bevor Sie das folgende Beispiel ausführen, ersetzen Sie zunächst die Platzhalter in den folgenden Feldern:

  • Autorisierung — Ersetze sie $AWS_BEARER_TOKEN_BEDROCK durch deinen tatsächlichen API-Schlüssel.

  • X-Amzn-BedrockRoleArn — arn:aws:iam::123456789012:role/BatchServiceRole Ersetzen Sie durch die tatsächliche Batch-Inferenz-Servicerolle, die Sie eingerichtet haben.

  • input_file_id — Ersetzen Sie s3://amzn-s3-demo-bucket/openai-input.jsonl es durch den tatsächlichen S3-URI, in den Sie Ihre Batch-JSONL-Datei hochgeladen haben.

Im folgenden Beispiel wird die Create Chat Completion API aufgerufen us-west-2 und ein Metadatenteil hinzugefügt:

curl -X POST 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \  
    -H 'Content-Type: application/json' \
    -H 'X-Amzn-Bedrock-ModelId: openai.gpt-oss-20b-1:0' \
    -H 'X-Amzn-Bedrock-RoleArn: arn:aws:iam::123456789012:role/BatchServiceRole' \  
    -d '{    
    "input_file_id": "s3://amzn-s3-demo-bucket/openai-input.jsonl",    
    "endpoint": "/v1/chat/completions",    
    "completion_window": "24h",
    "metadata": {"description": "test input"}  
}'

Rufen Sie einen OpenAI Batch-Job ab

Einzelheiten zur Anfrage und Antwort der OpenAI Retrieve-Batch-API finden Sie unter Batch abrufen.

Wenn Sie die Anfrage stellen, geben Sie die ID des Batch-Jobs an, für den Sie Informationen abrufen möchten. Die Antwort gibt Informationen über einen Batch-Job zurück, einschließlich der Ausgabe- und Fehlerdateinamen, die Sie in Ihren S3-Buckets nachschlagen können.

Um Beispiele für die Verwendung der OpenAI Retrieve-Batch-API mit verschiedenen Methoden zu sehen, wählen Sie die Registerkarte für Ihre bevorzugte Methode und folgen Sie dann den Schritten:

OpenAI SDK (Python)

Gehen Sie wie folgt vor, um einen Batch-Job mit dem OpenAI SDK abzurufen:

  1. Importieren Sie das OpenAI SDK und richten Sie den Client mit den folgenden Feldern ein:

    • base_url— Stellen Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix vor/openai/v1, wie im folgenden Format:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key— Geben Sie einen Amazon Bedrock API-Schlüssel an.

    • default_headers— Wenn Sie Header einbeziehen müssen, können Sie sie als Schlüssel-Wert-Paare in dieses Objekt aufnehmen. Sie können auch Header in der angeben, extra_headers wenn Sie einen bestimmten API-Aufruf tätigen.

  2. Verwenden Sie die Methode batches.retrieve () mit dem Client und geben Sie die ID des Batches an, für den Informationen abgerufen werden sollen.

Bevor Sie das folgende Beispiel ausführen, ersetzen Sie die Platzhalter in den folgenden Feldern:

  • api_key — Ersetze es $AWS_BEARER_TOKEN_BEDROCK durch deinen tatsächlichen API-Schlüssel.

  • batch_id — Ersetze es durch deinen tatsächlichen $AWS_BEARER_TOKEN_BEDROCK API-Schlüssel.

Das Beispiel OpenAI ruft die Retrieve-Batch-Job-API für einen Batch-Job us-west-2 auf, dessen ID lautet. batch_abc123

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID

print(job)
HTTP request

Gehen Sie wie folgt vor, um einen Batch-Job mit einer direkten HTTP-Anfrage abzurufen:

  1. Verwenden Sie die GET-Methode und geben Sie die URL an, indem Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix /openai/v1/batches/${batch_id} voranstellen, wie im folgenden Format:

    https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123

  2. Geben Sie Ihre AWS Anmeldeinformationen oder einen Amazon Bedrock API-Schlüssel in der Authorization Kopfzeile an.

Bevor Sie das folgende Beispiel ausführen, ersetzen Sie zunächst die Platzhalter in den folgenden Feldern:

  • Autorisierung — Ersetze sie $AWS_BEARER_TOKEN_BEDROCK durch deinen tatsächlichen API-Schlüssel.

  • batch_abc123 — Ersetzen Sie diesen Wert im Pfad durch die tatsächliche ID Ihres Batch-Jobs.

Im folgenden Beispiel wird die OpenAI Retrieve-Batch-API für einen Batch-Job aufgerufen, us-west-2 dessen ID lautet. batch_abc123

curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'

OpenAIBatch-Jobs auflisten

Einzelheiten zur Anfrage und Antwort der OpenAI List Batches API finden Sie unter Batches auflisten. Die Antwort gibt eine Reihe von Informationen über Ihre Batch-Jobs zurück.

Wenn Sie die Anfrage stellen, können Sie Abfrageparameter angeben, um die Ergebnisse zu filtern. Die Antwort gibt Informationen über einen Batch-Job zurück, einschließlich der Ausgabe- und Fehlerdateinamen, die Sie in Ihren S3-Buckets nachschlagen können.

Um Beispiele für die Verwendung der OpenAI List Batches API mit verschiedenen Methoden zu sehen, wählen Sie die Registerkarte für Ihre bevorzugte Methode und folgen Sie dann den Schritten:

OpenAI SDK (Python)

Gehen Sie wie folgt vor, um Batch-Jobs mit dem OpenAI SDK aufzulisten:

  1. Importieren Sie das OpenAI SDK und richten Sie den Client mit den folgenden Feldern ein:

    • base_url— Stellen Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix vor/openai/v1, wie im folgenden Format:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key— Geben Sie einen Amazon Bedrock API-Schlüssel an.

    • default_headers— Wenn Sie Header einbeziehen müssen, können Sie sie als Schlüssel-Wert-Paare in dieses Objekt aufnehmen. Sie können auch Header in der angeben, extra_headers wenn Sie einen bestimmten API-Aufruf tätigen.

  2. Verwenden Sie die Methode batches.list () mit dem Client. Sie können jeden der optionalen Parameter angeben.

Bevor Sie das folgende Beispiel ausführen, ersetzen Sie die Platzhalter in den folgenden Feldern:

  • api_key — Ersetze es $AWS_BEARER_TOKEN_BEDROCK durch deinen tatsächlichen API-Schlüssel.

Das Beispiel ruft die OpenAI List Batch Jobs API auf us-west-2 und gibt ein Limit von 2 zurückzugebenden Ergebnissen an.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID

print(job)
HTTP request

Gehen Sie wie folgt vor, um Batch-Jobs mit einer direkten HTTP-Anfrage aufzulisten:

  1. Verwenden Sie die GET-Methode und geben Sie die URL an, indem Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix /openai/v1/batches voranstellen, wie im folgenden Format:

    https://${bedrock-runtime-endpoint}/openai/v1/batches

    Sie können jeden der optionalen Abfrageparameter angeben.

  2. Geben Sie Ihre AWS Anmeldeinformationen oder einen Amazon Bedrock API-Schlüssel in der Authorization Kopfzeile an.

Bevor Sie das folgende Beispiel ausführen, ersetzen Sie zunächst die Platzhalter in den folgenden Feldern:

  • Autorisierung — Ersetze sie $AWS_BEARER_TOKEN_BEDROCK durch deinen tatsächlichen API-Schlüssel.

Das folgende Beispiel ruft die OpenAI List Batches API auf us-west-2 und gibt ein Limit von 2 zurückzugebenden Ergebnissen an.

curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'

Stornieren Sie einen OpenAI Batch-Job

Einzelheiten zur Anfrage und Antwort auf die API „Batch OpenAI stornieren“ finden Sie unter Batch stornieren. Die Antwort gibt Informationen über den stornierten Batch-Job zurück.

Wenn Sie die Anfrage stellen, geben Sie die ID des Batch-Jobs an, den Sie stornieren möchten.

Um Beispiele für die Verwendung der OpenAI Cancel Batch API mit verschiedenen Methoden zu sehen, wählen Sie die Registerkarte für Ihre bevorzugte Methode und folgen Sie dann den Schritten:

OpenAI SDK (Python)

Gehen Sie wie folgt vor, um einen Batch-Job mit dem OpenAI SDK abzubrechen:

  1. Importieren Sie das OpenAI SDK und richten Sie den Client mit den folgenden Feldern ein:

    • base_url— Stellen Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix vor/openai/v1, wie im folgenden Format:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key— Geben Sie einen Amazon Bedrock API-Schlüssel an.

    • default_headers— Wenn Sie Header einbeziehen müssen, können Sie sie als Schlüssel-Wert-Paare in dieses Objekt aufnehmen. Sie können auch Header in der angeben, extra_headers wenn Sie einen bestimmten API-Aufruf tätigen.

  2. Verwenden Sie die Methode batches.cancel () mit dem Client und geben Sie die ID des Batches an, für den Informationen abgerufen werden sollen.

Bevor Sie das folgende Beispiel ausführen, ersetzen Sie die Platzhalter in den folgenden Feldern:

  • api_key — Ersetze es $AWS_BEARER_TOKEN_BEDROCK durch deinen tatsächlichen API-Schlüssel.

  • batch_id — Ersetze es durch deinen tatsächlichen $AWS_BEARER_TOKEN_BEDROCK API-Schlüssel.

Das Beispiel ruft die OpenAI Cancel Batch Job API für einen Batch-Job us-west-2 auf, dessen ID lautet. batch_abc123

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.cancel(batch_id="batch_abc123") # Replace with actual ID

print(job)
HTTP request

Gehen Sie wie folgt vor, um einen Batch-Job mit einer direkten HTTP-Anfrage abzubrechen:

  1. Verwenden Sie die POST-Methode und geben Sie die URL an, indem Sie dem Amazon Bedrock Runtime-Endpunkt das Präfix /openai/v1/batches/${batch_id}/cancel voranstellen, wie im folgenden Format:

    https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123/cancel

  2. Geben Sie Ihre AWS Anmeldeinformationen oder einen Amazon Bedrock API-Schlüssel in der Authorization Kopfzeile an.

Bevor Sie das folgende Beispiel ausführen, ersetzen Sie zunächst die Platzhalter in den folgenden Feldern:

  • Autorisierung — Ersetze sie $AWS_BEARER_TOKEN_BEDROCK durch deinen tatsächlichen API-Schlüssel.

  • batch_abc123 — Ersetzen Sie diesen Wert im Pfad durch die tatsächliche ID Ihres Batch-Jobs.

Im folgenden Beispiel wird die OpenAI Cancel Batch API für einen Batch-Job aufgerufen, us-west-2 dessen ID lautet. batch_abc123

curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123/cancel' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'