Formattazione e caricamento dei propri dati di inferenza in batch - Amazon Bedrock
Esempio di input di testo per Anthropic Claude 3 HaikuEsempio di input video per Amazon Nova

Formattazione e caricamento dei propri dati di inferenza in batch

I dati per l’inferenza in batch devono essere aggiunti a una posizione S3 da scegliere o specificare quando invii un processo di invocazione del modello. La posizione S3 deve contenere i seguenti elementi:

  • Almeno un file JSONL che definisce gli input del modello. Un JSONL contiene righe di oggetti JSON. Il file JSONL deve terminare con l’estensione .jsonl ed avere il seguente formato:

    { "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
...

    Ogni riga contiene un oggetto JSON con un campo recordId e un campo modelInput che contengono il corpo della richiesta per un input che desideri inviare. Il formato dell’oggetto JSON modelInput deve corrispondere al campo body del modello utilizzato nella richiesta InvokeModel. Per ulteriori informazioni, consulta Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione.

    Nota

    • Se ometti il campo recordId, Amazon Bedrock lo aggiunge nell’output.

    • Non è garantito che l’ordine dei record nel file JSONL di output corrisponda all’ordine dei record nel file JSONL di input.

    • È necessario specificare il modello che si desidera utilizzare quando si crea il processo di inferenza in batch.

  • (Se definisci il contenuto di input come una posizione Amazon S3) Alcuni modelli consentono di definire il contenuto di input come una posizione S3. Se scegli questa opzione, assicurati che nella posizione S3 che intendi specificare siano presenti sia i tuoi contenuti che i tuoi file JSONL. I tuoi contenuti e i file JSONL possono essere annidati in cartelle nella posizione S3 specificata. Per vedere un esempio, consulta Esempio di input video per Amazon Nova.

Assicurati che i tuoi input siano conformi alle quote di inferenza in batch. Puoi cercare le seguenti quote in Quote di servizio di Amazon Bedrock:

  • Numero minimo di record per processo di inferenza in batch: il numero minimo di record (oggetti JSON) tra i file JSONL del processo.

  • Record per file di input per processo di inferenza in batch: il numero massimo di record (oggetti JSON) in un singolo file JSONL del processo.

  • Record per processo di inferenza in batch: il numero massimo di record (oggetti JSON) tra i file JSONL del processo.

  • Dimensione del file di input per inferenza in batch: la dimensione massima di un singolo file del processo.

  • Dimensione del processo di inferenza in batch: la dimensione massima cumulativa di tutti i file di input.

Per chiarimenti su come configurare gli input per l’inferenza in batch, consulta gli esempi riportati di seguito.

Esempio di input di testo per Anthropic Claude 3 Haiku

Se prevedi di eseguire l’inferenza in batch utilizzando il formato API Messages per il modello Anthropic Claude 3 Haiku, potresti fornire un file JSONL contenente il seguente oggetto JSON come una delle righe:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Esempio di input video per Amazon Nova

Se intendi eseguire l’inferenza in batch sugli input video utilizzando i modelli Amazon Nova Pro o Amazon Nova Lite, hai la possibilità di definire il video in byte o come posizione S3 nel file JSONL. Ad esempio, potresti avere un bucket S3 il cui percorso è s3://batch-inference-input-bucket e che contiene i seguenti file:

videos/
    video1.mp4
    video2.mp4
    ...
    video50.mp4
input.jsonl

Un esempio di record del file input.jsonl potrebbe essere il seguente:

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Quando crei il processo di inferenza in batch, puoi specificare s3://batch-inference-input-bucket come posizione S3. L’inferenza in batch elaborerà non solo il file input.jsonl nella posizione, ma anche i file video all’interno della cartella videos a cui il file JSONL fa riferimento.

Le seguenti risorse forniscono ulteriori informazioni sull’invio di input video per l’inferenza in batch:

L’argomento seguente descrive come configurare le autorizzazioni di accesso S3 e inferenza in batch per un’identità in modo da poter eseguire l’inferenza in batch.