Creazione di un processo di inferenza in batch - Amazon Bedrock

Creazione di un processo di inferenza in batch

Dopo aver configurato un bucket Amazon S3 con file per l’esecuzione dell’inferenza del modello, puoi creare un processo di inferenza in batch. Prima di iniziare, verifica di aver configurato i file in conformità con le istruzioni fornite in Formattazione e caricamento dei propri dati di inferenza in batch.

Nota

Per inviare un processo di inferenza in batch utilizzando un VPC, è necessario utilizzare l’API. Seleziona la scheda API per scoprire come includere la configurazione VPC.

Per scoprire come creare un processo di inferenza in batch, scegli la scheda corrispondente al metodo che preferisci, quindi segui i passaggi sotto indicati.

Console
Per creare un processo di inferenza in batch

  1. Accedi alla Console di gestione AWS con un’identità IAM che disponga delle autorizzazioni per utilizzare la console Amazon Bedrock. Quindi, apri la console Amazon Bedrock all’indirizzo https://console.aws.amazon.com/bedrock.

  2. Seleziona Inferenza in batch nel riquadro di navigazione a sinistra.

  3. Nella sezione Processi di inferenza in batch, scegli Crea processo.

  4. Nella sezione Dettagli del processo, assegna al processo di inferenza in batch un Nome del processo e seleziona un modello da utilizzare per il processo di inferenza in batch scegliendo Seleziona modello.

  5. Nella sezione Dati di input, scegli Sfoglia S3 e seleziona una posizione S3 per il tuo processo di inferenza in batch. L’inferenza in batch elabora tutti i file JSONL e i relativi file di contenuto in quella posizione S3, indipendentemente dal fatto che si tratti di una cartella S3 o di un singolo file JSONL.

    Nota

    Se i dati di input si trovano in un bucket S3 che appartiene a un account diverso da quello da cui stai inviando il processo, per inviare il processo di inferenza in batch devi utilizzare l’API. Per informazioni su come effettuare questa operazione, seleziona la scheda API in alto.

  6. Nella sezione Dati di output, scegli Sfoglia S3 e seleziona una posizione S3 in cui archiviare i file di output dal tuo processo di inferenza in batch. Per impostazione predefinita, i dati di output verranno crittografati con una Chiave gestita da AWS. Per scegliere una chiave KMS personalizzata, seleziona Personalizza impostazioni di crittografia (avanzate) e scegli la chiave desiderata. Per ulteriori informazioni sulla crittografia delle risorse Amazon Bedrock e sulla configurazione di una chiave KMS personalizzata, consulta Crittografia dei dati.

    Nota

    Se prevedi di scrivere i dati di output su un bucket S3 che appartiene a un account diverso da quello da cui stai inviando il processo, per inviare il processo di inferenza in batch devi utilizzare l’API. Per informazioni su come effettuare questa operazione, seleziona la scheda API in alto.

  7. Nella sezione Accesso al servizio, seleziona una delle seguenti opzioni:

    • Usa un ruolo di servizio esistente: seleziona un ruolo di servizio nell'elenco a discesa. Per ulteriori informazioni sulla configurazione di un ruolo personalizzato con le autorizzazioni appropriate, consulta Autorizzazioni richieste per l’inferenza in batch.

    • Crea e usa un nuovo ruolo di servizio: immetti un nome per il ruolo di servizio.

  8. (Facoltativo) Per associare i tag al processo di inferenza in batch, espandi la sezione Tag e aggiungi una chiave e un valore opzionale per ogni tag. Per ulteriori informazioni, consulta Assegnazione di tag alle risorse Amazon Bedrock.

  9. Scegliere Create batch inference job (Crea attività di inferenza batch).

API

Per creare un processo di inferenza in batch, invia una richiesta CreateModelInvocationJob con un endpoint del piano di controllo (control-plane) Amazon Bedrock.

I seguenti campi sono obbligatori:

Campo Caso d'uso
jobName Specificare un nome per il processo.
roleArn Specificare il nome della risorsa Amazon (ARN) del ruolo di servizio con le autorizzazioni per creare e gestire il processo. Per ulteriori informazioni, consulta Creazione di un ruolo di servizio per l’inferenza in batch.
modelId Specificare l’ID o l’ARN del modello da utilizzare nell’inferenza.
inputDataConfig Specificare la posizione S3 che contiene i dati di input. L’inferenza in batch elabora tutti i file JSONL e i relativi file di contenuto in quella posizione S3, indipendentemente dal fatto che si tratti di una cartella S3 o di un singolo file JSONL. Per ulteriori informazioni, consulta Formattazione e caricamento dei propri dati di inferenza in batch.
outputDataConfig Specificare la posizione S3 in cui scrivere le risposte del modello.

I seguenti campi sono facoltativi:

Campo Caso d'uso
timeoutDurationInHours Specificare la durata in ore al termine della quale il lavoro scadrà.
tags Specificare eventuali tag da associare al processo. Per ulteriori informazioni, consulta Assegnazione di tag alle risorse Amazon Bedrock.
vpcConfig Specificare la configurazione VPC da utilizzare per proteggere i dati durante il processo. Per ulteriori informazioni, consulta Protezione dei processi di inferenza in batch con un VPC.
clientRequestToken Per garantire che la richiesta API venga completata solo una volta. Per ulteriori informazioni, consulta Garanzia di idempotenza.

La risposta restituisce un jobArn che è possibile utilizzare per altre chiamate API relative all’inferenza in batch.