Modelli e regioni supportati Prerequisiti Creare un processo batch Recuperare un processo batch Elenca i lavori in batch Annullare un processo batch

Invia una serie di richieste con l'API Batch OpenAI

Puoi eseguire un processo di inferenza in batch utilizzando l'API OpenAI Create batch con modelli Amazon BedrockOpenAI.

Puoi chiamare l'API OpenAI Create batch nei seguenti modi:

Effettua una richiesta HTTP con un endpoint Amazon Bedrock Runtime.
Utilizza una richiesta OpenAI SDK con un endpoint Amazon Bedrock Runtime.

Seleziona un argomento per saperne di più:

Argomenti

Modelli e regioni supportati per l'API OpenAI batch
Prerequisiti per utilizzare l'API OpenAI batch
Crea un processo in batch OpenAI
Recupera un processo in batch OpenAI
Elenca i lavori OpenAI in batch
Annullare un processo batch OpenAI

Modelli e regioni supportati per l'API OpenAI batch

Puoi utilizzare l'API OpenAI Create batch con tutti i OpenAI modelli supportati in Amazon Bedrock e nelle AWS regioni che supportano questi modelli. Per ulteriori informazioni sui modelli e sulle regioni supportati, consultaModelli di fondazione supportati in Amazon Bedrock.

Prerequisiti per utilizzare l'API OpenAI batch

Per visualizzare i prerequisiti per l'utilizzo delle operazioni dell'API OpenAI in batch, scegli la scheda corrispondente al metodo preferito, quindi segui i passaggi:

OpenAI SDK

Autenticazione: l'OpenAISDK supporta solo l'autenticazione con una chiave API Amazon Bedrock. Genera una chiave API Amazon Bedrock per autenticare la tua richiesta. Per ulteriori informazioni sulle chiavi API di Amazon Bedrock e su come generarle, consultaGenera chiavi API Amazon Bedrock per autenticarti facilmente nell'API Amazon Bedrock.
Endpoint: trova l'endpoint che corrisponde alla AWS regione da utilizzare negli endpoint e nelle quote di Amazon Bedrock Runtime. Se utilizzi un AWS SDK, potresti dover specificare solo il codice regionale e non l'intero endpoint quando configuri il client.
Accesso al modello: richiedi l'accesso a un modello Amazon Bedrock che supporti questa funzionalità. Per ulteriori informazioni, consulta Aggiungere o rimuovere l'accesso ai modelli Amazon Bedrock Foundation.
Installa un OpenAI SDK: per ulteriori informazioni, consulta Librerie nella OpenAI documentazione.
File JSONL in batch caricato su S3: segui i passaggi in Preparare il file batch nella OpenAI documentazione per preparare il file batch con il formato corretto. Quindi caricalo in un bucket Amazon S3.
Autorizzazioni IAM: assicurati di disporre delle seguenti identità IAM con le autorizzazioni appropriate:
- Un'identità IAM con cui ti autentichi può eseguire operazioni API relative all'inferenza in batch. Per ulteriori informazioni, consulta Autorizzazioni necessarie per un'identità IAM per inviare e gestire lavori di inferenza in batch.
- Il ruolo del servizio di inferenza in batch che utilizzi può assumere la tua identità, richiamare il OpenAI modello che utilizzi e avere accesso al tuo file JSONL batch in S3. Per ulteriori informazioni, consulta Ruoli di servizio.

HTTP request

Autenticazione: puoi autenticarti con AWS le tue credenziali o con una chiave API Amazon Bedrock.

Configura AWS le tue credenziali o genera una chiave API Amazon Bedrock per autenticare la tua richiesta.
- Per ulteriori informazioni sulla configurazione delle AWS credenziali, consulta Accesso programmatico con credenziali di sicurezza. AWS
- Per ulteriori informazioni sulle chiavi API di Amazon Bedrock e su come generarle, consultaGenera chiavi API Amazon Bedrock per autenticarti facilmente nell'API Amazon Bedrock.
Endpoint: trova l'endpoint che corrisponde alla AWS regione da utilizzare negli endpoint e nelle quote di Amazon Bedrock Runtime. Se utilizzi un AWS SDK, potresti dover specificare solo il codice regionale e non l'intero endpoint quando configuri il client.
Accesso al modello: richiedi l'accesso a un modello Amazon Bedrock che supporti questa funzionalità. Per ulteriori informazioni, consulta Aggiungere o rimuovere l'accesso ai modelli Amazon Bedrock Foundation.
File JSONL in batch caricato su S3: segui i passaggi in Preparare il file batch nella OpenAI documentazione per preparare il file batch con il formato corretto. Quindi caricalo in un bucket Amazon S3.
Autorizzazioni IAM: assicurati di disporre delle seguenti identità IAM con le autorizzazioni appropriate:
- Un'identità IAM con cui ti autentichi può eseguire operazioni API relative all'inferenza in batch. Per ulteriori informazioni, consulta Autorizzazioni necessarie per un'identità IAM per inviare e gestire lavori di inferenza in batch.
- Il ruolo del servizio di inferenza in batch che utilizzi può assumere la tua identità, richiamare il OpenAI modello che utilizzi e avere accesso al tuo file JSONL batch in S3. Per ulteriori informazioni, consulta Ruoli di servizio.

Crea un processo in batch OpenAI

Per i dettagli sull'API OpenAI Create batch, consulta le seguenti risorse nella OpenAI documentazione:

Crea batch: descrive in dettaglio sia la richiesta che la risposta.
L'oggetto di output della richiesta: descrive in dettaglio i campi dell'output generato dal processo batch. Fai riferimento a questa documentazione per interpretare i risultati nel tuo bucket S3.

Forma la richiesta

Durante la creazione della richiesta di inferenza in batch, prendi nota dei seguenti campi e valori specifici di Amazon Bedrock:

Intestazioni della richiesta

X-Amzn-Bedrock-RoleArn (obbligatorio) — L'Amazon Resource Name (ARN) del ruolo del servizio di inferenza in batch. Per ulteriori informazioni, consulta Crea un ruolo di servizio personalizzato per l'inferenza in batch
X-Amzn-Bedrock-ModelId (obbligatorio) — L'ID del modello di base da utilizzare nell'inferenza. Per ulteriori informazioni, consulta Modelli di fondazione supportati in Amazon Bedrock.
X-Amzn-Bedrock-OutputEncryptionKeyId (opzionale) — L'ID di una chiave KMS che si desidera utilizzare per crittografare i file S3 di output. Per ulteriori informazioni, consulta Specificare la crittografia lato server con (SSE-KMS). AWS KMS
X-Amzn-Bedrock-Tags (opzionale) — Un dizionario di chiavi e valori che indica i tag da allegare all'output. Per ulteriori informazioni, consulta Etichettare le risorse di Amazon Bedrock.

Parametri del corpo della richiesta:

endpoint: deve esserev1/chat/completions.
input_file_id — Specificate l'URI S3 del file JSONL batch.

Trova i risultati generati

La risposta alla creazione include un ID batch. I risultati e la registrazione degli errori del processo di inferenza in batch vengono scritti nella cartella S3 contenente il file di input. I risultati si troveranno in una cartella con lo stesso nome dell'ID batch, come nella seguente struttura di cartelle:


---- {batch_input_folder}
        |---- {batch_input}.jsonl
        |---- {batch_id}
	           |---- {batch_input}.jsonl.out
	           |---- {batch_input}.jsonl.err

Per vedere esempi di utilizzo dell'API OpenAI Create batch con metodi diversi, scegliete la scheda corrispondente al metodo preferito, quindi seguite i passaggi:

OpenAI SDK (Python)

Per creare un processo batch con l'OpenAISDK, procedi come segue:

Importa l'OpenAISDK e configura il client con i seguenti campi:
- base_url— Prefissa l'endpoint Amazon Bedrock Runtime con il prefisso/openai/v1, come nel seguente formato:
```
https://${bedrock-runtime-endpoint}/openai/v1
```
- api_key— Specificare una chiave API Amazon Bedrock.
- default_headers— Se devi includere delle intestazioni, puoi includerle come coppie chiave-valore in questo oggetto. In alternativa, è possibile specificare le intestazioni in extra_headers quando si effettua una chiamata API specifica.
Utilizzate il metodo batches.create () con il client.

Prima di eseguire l'esempio seguente, sostituite i segnaposto nei seguenti campi:

api_key — Sostituisci $AWS_BEARER_TOKEN_BEDROCK con la tua chiave API effettiva.
X-Amzn-BedrockRoleArn — Sostituisci arn:aws:iam::123456789012:role/BatchServiceRole con l'effettivo ruolo del servizio di inferenza in batch che hai impostato.
input_file_id — Sostituisci s3://amzn-s3-demo-bucket/openai-input.jsonl con l'URI S3 effettivo in cui hai caricato il file JSONL batch.

L'esempio richiama l'API OpenAI Create batch job e include un insieme di metadati. us-west-2


from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK", # Replace with actual API key
    default_headers={
        "X-Amzn-Bedrock-RoleArn": "arn:aws:iam::123456789012:role/BatchServiceRole" # Replace with actual service role ARN
    }
)

job = client.batches.create(
    input_file_id="s3://amzn-s3-demo-bucket/openai-input.jsonl", # Replace with actual S3 URI
    endpoint="/v1/chat/completions",
    completion_window="24h",
    metadata={
        "description": "test input"
    },
    extra_headers={
        "X-Amzn-Bedrock-ModelId": "openai.gpt-oss-20b-1:0",
    }
)
print(job)

HTTP request

Per creare un completamento della chat con una richiesta HTTP diretta, procedi come segue:

Utilizza il metodo POST e specifica l'URL aggiungendo come prefisso l'endpoint Amazon Bedrock Runtime a/openai/v1/batches, come nel seguente formato:
```
https://${bedrock-runtime-endpoint}/openai/v1/batches
```
Specificate AWS le vostre credenziali o una chiave API Amazon Bedrock nell'Authorizationintestazione.

Prima di eseguire l'esempio seguente, sostituisci innanzitutto i segnaposto nei seguenti campi:

Autorizzazione: $AWS_BEARER_TOKEN_BEDROCK sostituiscila con la tua chiave API effettiva.
X-Amzn-BedrockRoleArn — Sostituisci arn:aws:iam::123456789012:role/BatchServiceRole con l'effettivo ruolo del servizio di inferenza in batch che hai impostato.
input_file_id — Sostituisci s3://amzn-s3-demo-bucket/openai-input.jsonl con l'URI S3 effettivo in cui hai caricato il file JSONL batch.

L'esempio seguente richiama l'API Create chat completion e include un insieme di metadati: us-west-2


curl -X POST 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \  
    -H 'Content-Type: application/json' \
    -H 'X-Amzn-Bedrock-ModelId: openai.gpt-oss-20b-1:0' \
    -H 'X-Amzn-Bedrock-RoleArn: arn:aws:iam::123456789012:role/BatchServiceRole' \  
    -d '{    
    "input_file_id": "s3://amzn-s3-demo-bucket/openai-input.jsonl",    
    "endpoint": "/v1/chat/completions",    
    "completion_window": "24h",
    "metadata": {"description": "test input"}  
}'

Recupera un processo in batch OpenAI

Per informazioni dettagliate sulla richiesta e sulla risposta dell'API OpenAI Retrieve batch, consulta Recupera batch.

Quando si effettua la richiesta, si specifica l'ID del processo batch per il quale ottenere le informazioni. La risposta restituisce informazioni su un processo batch, inclusi i nomi dei file di output e di errore che puoi cercare nei tuoi bucket S3.

Per vedere esempi di utilizzo dell'API OpenAI Retrieve batch con metodi diversi, scegli la scheda relativa al tuo metodo preferito, quindi segui i passaggi:

OpenAI SDK (Python)

Per recuperare un processo batch con l'OpenAISDK, procedi come segue:

Importa l'OpenAISDK e configura il client con i seguenti campi:
- base_url— Prefissa l'endpoint Amazon Bedrock Runtime con il prefisso/openai/v1, come nel seguente formato:
```
https://${bedrock-runtime-endpoint}/openai/v1
```
- api_key— Specificare una chiave API Amazon Bedrock.
- default_headers— Se devi includere delle intestazioni, puoi includerle come coppie chiave-valore in questo oggetto. In alternativa, è possibile specificare le intestazioni in extra_headers quando si effettua una chiamata API specifica.
Utilizzate il metodo batches.retrieve () con il client e specificate l'ID del batch per il quale recuperare le informazioni.

Prima di eseguire l'esempio seguente, sostituite i segnaposto nei seguenti campi:

api_key — Sostituisci $AWS_BEARER_TOKEN_BEDROCK con la tua chiave API effettiva.
batch_id — Sostituisci $AWS_BEARER_TOKEN_BEDROCK con la tua chiave API effettiva.

L'esempio richiama l'API OpenAI Retrieve batch job us-west-2 su un processo batch il cui ID è. batch_abc123


from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID

print(job)

HTTP request

Per recuperare un processo batch con una richiesta HTTP diretta, procedi come segue:

Utilizza il metodo GET e specifica l'URL aggiungendo come prefisso l'endpoint Amazon Bedrock Runtime a/openai/v1/batches/${batch_id}, come nel seguente formato:
```
https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123
```
Specificate AWS le vostre credenziali o una chiave API Amazon Bedrock nell'Authorizationintestazione.

Prima di eseguire l'esempio seguente, sostituisci innanzitutto i segnaposto nei seguenti campi:

Autorizzazione: $AWS_BEARER_TOKEN_BEDROCK sostituiscila con la tua chiave API effettiva.
batch_abc123 — Nel percorso, sostituisci questo valore con l'ID effettivo del processo batch.

L'esempio seguente richiama l'API OpenAI Retrieve batch us-west-2 su un processo batch il cui ID è. batch_abc123


curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'

Elenca i lavori OpenAI in batch

Per informazioni dettagliate sulla richiesta e sulla risposta dell'API OpenAI List batches, consulta List batches. La risposta restituisce una serie di informazioni sui processi batch.

Quando si effettua la richiesta, è possibile includere parametri di query per filtrare i risultati. La risposta restituisce informazioni su un processo batch, inclusi i nomi dei file di output e di errore che puoi cercare nei tuoi bucket S3.

Per vedere esempi di utilizzo dell'API OpenAI List batches con metodi diversi, scegli la scheda relativa al tuo metodo preferito, quindi segui i passaggi:

OpenAI SDK (Python)

Per elencare i lavori in batch con l'OpenAISDK, procedi come segue:

Importa l'OpenAISDK e configura il client con i seguenti campi:
- base_url— Prefissa l'endpoint Amazon Bedrock Runtime con il prefisso/openai/v1, come nel seguente formato:
```
https://${bedrock-runtime-endpoint}/openai/v1
```
- api_key— Specificare una chiave API Amazon Bedrock.
- default_headers— Se devi includere delle intestazioni, puoi includerle come coppie chiave-valore in questo oggetto. In alternativa, è possibile specificare le intestazioni in extra_headers quando si effettua una chiamata API specifica.
Utilizzate il metodo batches.list () con il client. È possibile includere uno qualsiasi dei parametri opzionali.

Prima di eseguire l'esempio seguente, sostituite i segnaposto nei seguenti campi:

api_key — Sostituisci $AWS_BEARER_TOKEN_BEDROCK con la tua chiave API effettiva.

L'esempio richiama l'API OpenAI List batch jobs in us-west-2 e specifica un limite di 2 risultati da restituire.


from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID

print(job)

HTTP request

Per elencare i lavori batch con una richiesta HTTP diretta, procedi come segue:

Utilizza il metodo GET e specifica l'URL aggiungendo come prefisso l'endpoint Amazon Bedrock Runtime a/openai/v1/batches, come nel seguente formato:
```
https://${bedrock-runtime-endpoint}/openai/v1/batches
```
Puoi includere uno qualsiasi dei parametri di interrogazione opzionali.
Specificate AWS le vostre credenziali o una chiave API Amazon Bedrock nell'Authorizationintestazione.

Prima di eseguire l'esempio seguente, sostituisci innanzitutto i segnaposto nei seguenti campi:

Autorizzazione: $AWS_BEARER_TOKEN_BEDROCK sostituiscila con la tua chiave API effettiva.

L'esempio seguente richiama l'API OpenAI List batches us-west-2 e specifica un limite di 2 risultati da restituire.


curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'

Annullare un processo batch OpenAI

Per informazioni dettagliate sulla richiesta e sulla risposta dell'API OpenAI Annulla batch, consulta Annulla batch. La risposta restituisce informazioni sul processo batch annullato.

Quando si effettua la richiesta, si specifica l'ID del processo batch che si desidera annullare.

Per vedere esempi di utilizzo dell'API OpenAI Cancel batch con diversi metodi, scegli la scheda corrispondente al metodo preferito, quindi segui i passaggi:

OpenAI SDK (Python)

Per annullare un processo batch con l'OpenAISDK, procedi come segue:

Importa l'OpenAISDK e configura il client con i seguenti campi:
- base_url— Prefissa l'endpoint Amazon Bedrock Runtime con il prefisso/openai/v1, come nel seguente formato:
```
https://${bedrock-runtime-endpoint}/openai/v1
```
- api_key— Specificare una chiave API Amazon Bedrock.
- default_headers— Se devi includere delle intestazioni, puoi includerle come coppie chiave-valore in questo oggetto. In alternativa, è possibile specificare le intestazioni in extra_headers quando si effettua una chiamata API specifica.
Utilizzate il metodo batches.cancel () con il client e specificate l'ID del batch per il quale recuperare le informazioni.

Prima di eseguire l'esempio seguente, sostituite i segnaposto nei seguenti campi:

api_key — Sostituisci $AWS_BEARER_TOKEN_BEDROCK con la tua chiave API effettiva.
batch_id — Sostituisci $AWS_BEARER_TOKEN_BEDROCK con la tua chiave API effettiva.

L'esempio richiama l'API OpenAI Cancel batch job us-west-2 su un processo batch il cui ID è. batch_abc123


from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.cancel(batch_id="batch_abc123") # Replace with actual ID

print(job)

HTTP request

Per annullare un processo batch con una richiesta HTTP diretta, procedi come segue:

Utilizza il metodo POST e specifica l'URL aggiungendo come prefisso l'endpoint Amazon Bedrock Runtime a/openai/v1/batches/${batch_id}/cancel, come nel seguente formato:
```
https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123/cancel
```
Specificate AWS le vostre credenziali o una chiave API Amazon Bedrock nell'Authorizationintestazione.

Prima di eseguire l'esempio seguente, sostituisci innanzitutto i segnaposto nei seguenti campi:

Autorizzazione: $AWS_BEARER_TOKEN_BEDROCK sostituiscila con la tua chiave API effettiva.
batch_abc123 — Nel percorso, sostituisci questo valore con l'ID effettivo del processo batch.

L'esempio seguente richiama l'API OpenAI Cancel batch us-west-2 su un processo batch il cui ID è. batch_abc123


curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123/cancel' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

esempio di codice

Profili di inferenza: imposta le risorse di invocazione del modello