Invio di una serie di prompt con l’API batch di OpenAI - Amazon Bedrock
Regioni e modelli supportatiPrerequisitiCreazione di un processo in batchRecupera un processo in batchElenco dei processi in batchAnnullamento di un processo in batch

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Invio di una serie di prompt con l’API batch di OpenAI

Puoi eseguire un processo di inferenza in batch utilizzando l’API Create batch di OpenAI con modelli Amazon Bedrock OpenAI.

Puoi chiamare l’API Create batch di OpenAI nei modi seguenti:

  • Effettuare una richiesta HTTP con un endpoint di runtime Amazon Bedrock.

  • Utilizzare una richiesta OpenAI SDK con un endpoint di runtime Amazon Bedrock.

Per ulteriori informazioni, scegli un argomento:

Regioni e modelli supportati per l’API batch di OpenAI

Puoi utilizzare l'API OpenAI Create batch con tutti i OpenAI modelli supportati in Amazon Bedrock e nelle AWS regioni che supportano questi modelli. Per ulteriori informazioni sulle Regioni e i modelli supportati, consulta Modelli di fondazione supportati in Amazon Bedrock.

Prerequisiti di utilizzo dell’API batch di OpenAI.

Per visualizzare i prerequisiti per l’utilizzo delle operazioni dell’API batch di OpenAI, scegli la scheda corrispondente al metodo preferito, quindi segui le fasi:

OpenAI SDK

  • Autenticazione: OpenAI SDK supporta solo l’autenticazione con una chiave API Amazon Bedrock. Genera una chiave API Amazon Bedrock per autenticare la tua richiesta. Per informazioni sulle chiavi API di Amazon Bedrock e su come generarle, consulta la sezione Chiavi API nel capitolo Build.

  • Endpoint: trova l'endpoint che corrisponde alla AWS regione da utilizzare negli endpoint e nelle quote di Amazon Bedrock Runtime. Se utilizzi un AWS SDK, potresti dover specificare solo il codice regionale e non l'intero endpoint quando configuri il client.

  • Accesso al modello: richiedi l’accesso a un modello Amazon Bedrock che supporti questa funzionalità. Per ulteriori informazioni, consulta Gestisci l'accesso ai modelli tramite SDK e CLI.

  • Installa OpenAI SDK: per ulteriori informazioni, consulta Librerie nella documentazione OpenAI.

  • File batch JSONL caricato su S3: segui le fasi in Preparazione del file batch nella documentazione OpenAI per preparare il file batch con il formato corretto. Quindi caricalo in un bucket Amazon S3.

  • Autorizzazioni IAM: assicurati di disporre delle seguenti identità IAM con le autorizzazioni appropriate:

HTTP request

  • Autenticazione: puoi autenticarti con AWS le tue credenziali o con una chiave API Amazon Bedrock.

    Configura AWS le tue credenziali o genera una chiave API Amazon Bedrock per autenticare la tua richiesta.

    • Per ulteriori informazioni sulla configurazione delle AWS credenziali, consulta Accesso programmatico con credenziali di sicurezza. AWS

    • Per informazioni sulle chiavi API di Amazon Bedrock e su come generarle, consulta la sezione Chiavi API nel capitolo Build.

  • Endpoint: trova l'endpoint che corrisponde alla AWS regione da utilizzare negli endpoint e nelle quote di Amazon Bedrock Runtime. Se utilizzi un AWS SDK, potresti dover specificare solo il codice regionale e non l'intero endpoint quando configuri il client.

  • Accesso al modello: richiedi l’accesso a un modello Amazon Bedrock che supporti questa funzionalità. Per ulteriori informazioni, consulta Gestisci l'accesso ai modelli tramite SDK e CLI.

  • File batch JSONL caricato su S3: segui le fasi in Preparazione del file batch nella documentazione OpenAI per preparare il file batch con il formato corretto. Quindi caricalo in un bucket Amazon S3.

  • Autorizzazioni IAM: assicurati di disporre delle seguenti identità IAM con le autorizzazioni appropriate:

Creazione di un processo in batch di OpenAI

Per i dettagli sull’API Create batch di OpenAI, consulta le seguenti risorse nella documentazione OpenAI:

  • Crea batch: descrive in dettaglio sia la richiesta che la risposta.

  • L’oggetto di output della richiesta: descrive in dettaglio i campi dell’output generato dal processo in batch. Per interpretare i risultati nel bucket S3, consulta questa documentazione.

Avanzamento della richiesta

Durante la creazione della richiesta di inferenza in batch, prendi nota dei seguenti campi e valori specifici di Amazon Bedrock:

Intestazioni della richiesta
Parametri del corpo della richiesta:

  • endpoint: deve essere v1/chat/completions.

  • input_file_id: specifica l’URI S3 del file batch JSONL.

Trova i risultati generati

La risposta alla creazione include un ID batch. I risultati e la registrazione di log degli errori del processo di inferenza in batch vengono scritti nella cartella S3 contenente il file di input. I risultati si troveranno in una cartella con lo stesso nome dell’ID batch, come nella seguente struttura di cartelle:

---- {batch_input_folder}
        |---- {batch_input}.jsonl
        |---- {batch_id}
	           |---- {batch_input}.jsonl.out
	           |---- {batch_input}.jsonl.err

Per vedere esempi di utilizzo dell’API Create batch di OpenAI con metodi diversi, scegli la scheda corrispondente al metodo preferito, quindi segui le fasi:

OpenAI SDK (Python)

Per creare un processo in batch con OpenAI SDK, procedi come segue:

  1. Importa il componente SDK OpenAI e configura il client con i seguenti campi:

    • base_url: anteponi l’endpoint di runtime Amazon Bedrock a /openai/v1, come nel seguente formato:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key: specifica una chiave API Amazon Bedrock.

    • default_headers: se è necessario includere intestazioni, includile come coppie chiave-valore in questo oggetto. In alternativa, puoi specificare le intestazioni in extra_headers quando effettui una chiamata API specifica.

  2. Utilizza il metodo batches.create() con il client.

Prima di eseguire l’esempio riportato più avanti, sostituisci i segnaposti nei seguenti campi:

  • api_key — Sostituisci $AWS_BEARER_TOKEN_BEDROCK con la tua chiave API effettiva.

  • X-Amzn-BedrockRoleArn — Sostituisci arn:aws:iam::123456789012:role/BatchServiceRole con l'effettivo ruolo del servizio di inferenza in batch che hai impostato.

  • input_file_id — Sostituisci s3://amzn-s3-demo-bucket/openai-input.jsonl con l'URI S3 effettivo in cui hai caricato il file JSONL batch.

L’esempio chiama l’API del processo Create batch di OpenAI in us-west-2 e include una parte di metadati.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK", # Replace with actual API key
    default_headers={
        "X-Amzn-Bedrock-RoleArn": "arn:aws:iam::123456789012:role/BatchServiceRole" # Replace with actual service role ARN
    }
)

job = client.batches.create(
    input_file_id="s3://amzn-s3-demo-bucket/openai-input.jsonl", # Replace with actual S3 URI
    endpoint="/v1/chat/completions",
    completion_window="24h",
    metadata={
        "description": "test input"
    },
    extra_headers={
        "X-Amzn-Bedrock-ModelId": "openai.gpt-oss-20b-1:0",
    }
)
print(job)
HTTP request

Per creare un completamento della chat con una richiesta HTTP diretta, procedi come segue:

  1. Utilizza il metodo POST e specifica l’URL anteponendo l’endpoint di runtime Amazon Bedrock a /openai/v1/batches, come nel seguente formato:

    https://${bedrock-runtime-endpoint}/openai/v1/batches

  2. Specificate AWS le vostre credenziali o una chiave API Amazon Bedrock nell'Authorizationintestazione.

Prima di eseguire l’esempio riportato più avanti, sostituisci prima i segnaposti nei seguenti campi:

  • Autorizzazione: sostituiscila $AWS_BEARER_TOKEN_BEDROCK con la tua chiave API effettiva.

  • X-Amzn-BedrockRoleArn — Sostituisci arn:aws:iam::123456789012:role/BatchServiceRole con l'effettivo ruolo del servizio di inferenza in batch che hai impostato.

  • input_file_id — Sostituisci s3://amzn-s3-demo-bucket/openai-input.jsonl con l'URI S3 effettivo in cui hai caricato il file JSONL batch.

L’esempio seguente chiama l’API Create chat completion in us-west-2 e include un insieme di metadati:

curl -X POST 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK' \  
    -H 'Content-Type: application/json' \
    -H 'X-Amzn-Bedrock-ModelId: openai.gpt-oss-20b-1:0' \
    -H 'X-Amzn-Bedrock-RoleArn: arn:aws:iam::123456789012:role/BatchServiceRole' \  
    -d '{    
    "input_file_id": "s3://amzn-s3-demo-bucket/openai-input.jsonl",    
    "endpoint": "/v1/chat/completions",    
    "completion_window": "24h",
    "metadata": {"description": "test input"}  
}'

Recupera un processo in batch di OpenAI

Per informazioni dettagliate sulla richiesta e sulla risposta dell’API Retrieve batch di OpenAI, consulta Recupero in batch.

Quando effettui la richiesta, specifica l’ID del processo in batch per il quale ottenere le informazioni. La risposta restituisce informazioni su un processo in batch, inclusi i nomi dei file di output e di errore che puoi cercare nei tuoi bucket S3.

Per vedere esempi di utilizzo dell’API Retrieve batch OpenAI con metodi diversi, scegli la scheda corrispondente al metodo preferito, quindi segui i passaggi:

OpenAI SDK (Python)

Per recuperare un processo in batch con OpenAI SDK, procedi come segue:

  1. Importa il componente SDK OpenAI e configura il client con i seguenti campi:

    • base_url: anteponi l’endpoint di runtime Amazon Bedrock a /openai/v1, come nel seguente formato:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key: specifica una chiave API Amazon Bedrock.

    • default_headers: se è necessario includere intestazioni, includile come coppie chiave-valore in questo oggetto. In alternativa, puoi specificare le intestazioni in extra_headers quando effettui una chiamata API specifica.

  2. Utilizza il metodo batches.retrieve() con il client e specifica l’ID del batch per il quale recuperare le informazioni.

Prima di eseguire l’esempio riportato più avanti, sostituisci i segnaposti nei seguenti campi:

  • api_key — Sostituisci con la tua chiave API effettiva. $AWS_BEARER_TOKEN_BEDROCK

  • batch_id — Sostituisci $AWS_BEARER_TOKEN_BEDROCK con la tua chiave API effettiva.

L'esempio richiama l'API OpenAI Retrieve batch job us-west-2 su un processo batch il cui ID è. batch_abc123

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID

print(job)
HTTP request

Per recuperare un processo in batch con una richiesta HTTP diretta, procedi come segue:

  1. Utilizza il metodo GET e specifica l’URL anteponendo l’endpoint di runtime Amazon Bedrock a /openai/v1/batches/${batch_id}, come nel seguente formato:

    https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123

  2. Specificate AWS le vostre credenziali o una chiave API Amazon Bedrock nell'Authorizationintestazione.

Prima di eseguire l’esempio riportato più avanti, sostituisci prima i segnaposti nei seguenti campi:

  • Autorizzazione: sostituiscila $AWS_BEARER_TOKEN_BEDROCK con la tua chiave API effettiva.

  • batch_abc123: nel percorso, sostituisci questo valore con l’ID effettivo del processo in batch.

L'esempio seguente richiama l'API OpenAI Retrieve batch us-west-2 su un processo batch il cui ID èbatch_abc123.

curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'

Elenco dei processi in batch di OpenAI

Per informazioni dettagliate sulla richiesta e sulla risposta dell’API List batch di OpenAI, consulta Elenco in batch. La risposta restituisce un array di informazioni sui processi in batch.

Quando effettui la richiesta, puoi includere parametri di query per filtrare i risultati. La risposta restituisce informazioni su un processo in batch, inclusi i nomi dei file di output e di errore che puoi cercare nei tuoi bucket S3.

Per vedere esempi di utilizzo dell’API List batch di OpenAI con metodi diversi, scegli la scheda relativa al tuo metodo preferito, quindi segui i passaggi:

OpenAI SDK (Python)

Per elencare i processi in batch con OpenAI SDK, procedi come segue:

  1. Importa il componente SDK OpenAI e configura il client con i seguenti campi:

    • base_url: anteponi l’endpoint di runtime Amazon Bedrock a /openai/v1, come nel seguente formato:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key: specifica una chiave API Amazon Bedrock.

    • default_headers: se è necessario includere intestazioni, includile come coppie chiave-valore in questo oggetto. In alternativa, puoi specificare le intestazioni in extra_headers quando effettui una chiamata API specifica.

  2. Utilizza il metodo batches.list() con il client. Puoi includere uno qualsiasi dei parametri opzionali.

Prima di eseguire l’esempio riportato più avanti, sostituisci i segnaposti nei seguenti campi:

  • api_key — Sostituisci $AWS_BEARER_TOKEN_BEDROCK con la tua chiave API effettiva.

L’esempio chiama l’API del processo List batch di OpenAI in us-west-2 e specifica un limite di due risultati da restituire.

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.retrieve(batch_id="batch_abc123") # Replace with actual ID

print(job)
HTTP request

Per elencare processi in batch con una richiesta HTTP diretta, procedi come segue:

  1. Utilizza il metodo GET e specifica l’URL anteponendo l’endpoint di runtime Amazon Bedrock a /openai/v1/batches, come nel seguente formato:

    https://${bedrock-runtime-endpoint}/openai/v1/batches

    Puoi includere uno qualsiasi dei parametri di query opzionali.

  2. Specificate AWS le vostre credenziali o una chiave API Amazon Bedrock nell'Authorizationintestazione.

Prima di eseguire l’esempio riportato più avanti, sostituisci prima i segnaposti nei seguenti campi:

  • Autorizzazione: sostituiscila $AWS_BEARER_TOKEN_BEDROCK con la tua chiave API effettiva.

L’esempio seguente chiama l’API List batch di OpenAI in us-west-2 e specifica un limite di due risultati da restituire.

curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'

Annullamento di un processo in batch di OpenAI

Per informazioni dettagliate sulla richiesta e sulla risposta dell’API Cancel batch di OpenAI, consulta Annullamento in batch. La risposta restituisce informazioni sul processo in batch annullato.

Quando effettui la richiesta, specifichi l’ID del processo in batch che desideri annullare.

Per vedere esempi di utilizzo dell’API Cancel batch di OpenAI con metodi diversi, scegli la scheda corrispondente al metodo preferito, quindi segui i passaggi:

OpenAI SDK (Python)

Per annullare un processo in batch con OpenAI SDK, procedi come segue:

  1. Importa OpenAI SDK e configura il client con i seguenti campi:

    • base_url: anteponi l’endpoint di runtime Amazon Bedrock a /openai/v1, come nel seguente formato:

      https://${bedrock-runtime-endpoint}/openai/v1

    • api_key: specifica una chiave API Amazon Bedrock.

    • default_headers: se è necessario includere intestazioni, includile come coppie chiave-valore in questo oggetto. In alternativa, puoi specificare le intestazioni in extra_headers quando effettui una chiamata API specifica.

  2. Utilizza il metodo batches.cancel() con il client e specifica l’ID del batch per il quale recuperare le informazioni.

Prima di eseguire l’esempio riportato più avanti, sostituisci i segnaposti nei seguenti campi:

  • api_key — Sostituisci $AWS_BEARER_TOKEN_BEDROCK con la tua chiave API effettiva.

  • batch_id — Sostituisci $AWS_BEARER_TOKEN_BEDROCK con la tua chiave API effettiva.

L'esempio richiama l'API OpenAI Cancel batch job us-west-2 su un processo batch il cui ID è. batch_abc123

from openai import OpenAI

client = OpenAI(
    base_url="https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1", 
    api_key="$AWS_BEARER_TOKEN_BEDROCK" # Replace with actual API key
)

job = client.batches.cancel(batch_id="batch_abc123") # Replace with actual ID

print(job)
HTTP request

Per annullare un processo in batch con una richiesta HTTP diretta, procedi come segue:

  1. Utilizza il metodo POST e specifica l’URL anteponendo l’endpoint di runtime Amazon Bedrock a /openai/v1/batches/${batch_id}/cancel, come nel seguente formato:

    https://${bedrock-runtime-endpoint}/openai/v1/batches/batch_abc123/cancel

  2. Specificate AWS le vostre credenziali o una chiave API Amazon Bedrock nell'Authorizationintestazione.

Prima di eseguire l’esempio riportato più avanti, sostituisci prima i segnaposti nei seguenti campi:

  • Autorizzazione: sostituiscila $AWS_BEARER_TOKEN_BEDROCK con la tua chiave API effettiva.

  • batch_abc123: nel percorso, sostituisci questo valore con l’ID effettivo del processo in batch.

L'esempio seguente richiama l'API OpenAI Cancel batch us-west-2 su un processo batch il cui ID èbatch_abc123.

curl -X GET 'https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1/batches/batch_abc123/cancel' \
    -H 'Authorization: Bearer $AWS_BEARER_TOKEN_BEDROCK'