Formatta e carica i dati di inferenza in batch - Amazon Bedrock
Esempio di immissione di testo per AnthropicClaude 3 HaikuEsempio di input video per Amazon Nova

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Formatta e carica i dati di inferenza in batch

Devi aggiungere i dati di inferenza in batch a una posizione S3 che sceglierai o specificherai quando invii un processo di invocazione del modello. La posizione S3 deve contenere i seguenti elementi:

  • Almeno un file JSONL che definisce gli input del modello. Un JSONL contiene righe di oggetti JSON. Il file JSONL deve terminare con l'estensione.jsonl ed essere nel seguente formato:

    { "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
...

    Ogni riga contiene un oggetto JSON con un recordId campo e un modelInput campo contenente il corpo della richiesta per un input che desideri inviare. Il formato dell'oggetto modelInput JSON deve corrispondere al body campo del modello utilizzato nella InvokeModel richiesta. Per ulteriori informazioni, consulta Parametri della richiesta di inferenza e campi di risposta per i modelli di base.

    Nota

  • (Se definisci il contenuto di input come una posizione Amazon S3) Alcuni modelli consentono di definire il contenuto dell'input come una posizione S3. Se scegli questa opzione, assicurati che la posizione S3 che specificherai contenga sia i tuoi contenuti che i tuoi file JSONL. I tuoi contenuti e i file JSONL possono essere annidati in cartelle nella posizione S3 specificata. Per vedere un esempio, consulta Esempio di input video per Amazon Nova.

Assicurati che i tuoi input siano conformi alle quote di inferenza in batch. Puoi cercare le seguenti quote nelle quote del servizio Amazon Bedrock:

  • Numero minimo di record per processo di inferenza in batch: il numero minimo di record (oggetti JSON) tra i file JSONL del processo.

  • Record per file di input per processo di inferenza in batch: il numero massimo di record (oggetti JSON) in un singolo file JSONL nel processo.

  • Record per processo di inferenza in batch: il numero massimo di record (oggetti JSON) tra i file JSONL del processo.

  • Dimensione del file di input per inferenza in batch: la dimensione massima di un singolo file nel processo.

  • Dimensione del lavoro di inferenza in batch: la dimensione massima cumulativa di tutti i file di input.

Per comprendere meglio come configurare gli input di inferenza in batch, consultate i seguenti esempi:

Esempio di immissione di testo per AnthropicClaude 3 Haiku

Se prevedi di eseguire l'inferenza in batch utilizzando il formato Messages API per il Anthropic Claude 3 Haiku modello, potresti fornire un file JSONL contenente il seguente oggetto JSON come una delle righe:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Esempio di input video per Amazon Nova

Se intendete eseguire l'inferenza in batch sugli ingressi video utilizzando i Amazon Nova Pro modelli Amazon Nova Lite or, avete la possibilità di definire il video in byte o come posizione S3 nel file JSONL. Ad esempio, potreste avere un bucket S3 il cui percorso è e contiene i seguenti file: s3://batch-inference-input-bucket

videos/
    video1.mp4
    video2.mp4
    ...
    video50.mp4
input.jsonl

Un esempio di record del input.jsonl file potrebbe essere il seguente:

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Quando si crea il processo di inferenza in batch, è possibile specificare s3://batch-inference-input-bucket come posizione S3. L'inferenza in batch elaborerà il input.jsonl file nella posizione, oltre ai file video all'interno della videos cartella a cui fa riferimento il file JSONL.

Le seguenti risorse forniscono ulteriori informazioni sull'invio di input video per l'inferenza in batch:

L'argomento seguente descrive come configurare le autorizzazioni di accesso S3 e di inferenza in batch per un'identità in modo da poter eseguire l'inferenza in batch.