Formattazione e caricamento dei propri dati di inferenza in batch - Amazon Bedrock
Esempio di input di testo per Anthropic Claude 3 HaikuEsempio di input video per Amazon Nova

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Formattazione e caricamento dei propri dati di inferenza in batch

I dati per l’inferenza in batch devono essere aggiunti a una posizione S3 da scegliere o specificare quando invii un processo di invocazione del modello. La posizione S3 deve contenere i seguenti elementi:

  • Almeno un file JSONL che definisce gli input del modello. Un JSONL contiene righe di oggetti JSON. Il file JSONL deve terminare con l’estensione .jsonl ed avere il seguente formato:

    { "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
...

    Ogni riga contiene un oggetto JSON con un campo recordId e un campo modelInput che contengono il corpo della richiesta per un input che desideri inviare. Il formato dell’oggetto JSON modelInput deve corrispondere al campo body del modello utilizzato nella richiesta InvokeModel. Per ulteriori informazioni, consulta Parametri di richiesta di inferenza e campi di risposta per i modelli di fondazione.

    Nota

    • Se ometti il campo recordId, Amazon Bedrock lo aggiunge nell’output.

    • Non è garantito che l’ordine dei record nel file JSONL di output corrisponda all’ordine dei record nel file JSONL di input.

    • È necessario specificare il modello che si desidera utilizzare quando si crea il processo di inferenza in batch.

  • (Se il contenuto di input contiene una posizione Amazon S3) Alcuni modelli consentono di definire il contenuto dell'input come una posizione S3. Per informazioni, consulta Esempio di input video per Amazon Nova.

    avvertimento

    Quando usi S3 URIs nei prompt, tutte le risorse devono trovarsi nello stesso bucket e nella stessa cartella S3. Il InputDataConfig parametro deve specificare il percorso della cartella contenente tutte le risorse collegate (come video o immagini), non solo un singolo file. .jsonl Tieni presente che i percorsi S3 fanno distinzione tra maiuscole e minuscole, quindi assicurati che la struttura delle URIs cartelle corrisponda esattamente.

Assicurati che i tuoi input siano conformi alle quote di inferenza in batch. Puoi cercare le seguenti quote in Quote di servizio di Amazon Bedrock:

  • Numero minimo di record per processo di inferenza in batch: il numero minimo di record (oggetti JSON) tra i file JSONL del processo.

  • Record per file di input per processo di inferenza in batch: il numero massimo di record (oggetti JSON) in un singolo file JSONL del processo.

  • Record per processo di inferenza in batch: il numero massimo di record (oggetti JSON) tra i file JSONL del processo.

  • Dimensione del file di input per inferenza in batch: la dimensione massima di un singolo file del processo.

  • Dimensione del processo di inferenza in batch: la dimensione massima cumulativa di tutti i file di input.

Per chiarimenti su come configurare gli input per l’inferenza in batch, consulta gli esempi riportati di seguito.

Esempio di input di testo per Anthropic Claude 3 Haiku

Se prevedi di eseguire l’inferenza in batch utilizzando il formato API Messages per il modello Anthropic Claude 3 Haiku, potresti fornire un file JSONL contenente il seguente oggetto JSON come una delle righe:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Esempio di input video per Amazon Nova

Se intendi eseguire l’inferenza in batch sugli input video utilizzando i modelli Amazon Nova Pro o Amazon Nova Lite, hai la possibilità di definire il video in byte o come posizione S3 nel file JSONL. Ad esempio, potresti avere un bucket S3 il cui percorso è s3://batch-inference-input-bucket e che contiene i seguenti file:

s3://batch-inference-input-bucket/
├── videos/
│   ├── video1.mp4
│   ├── video2.mp4
│   ├── ...
│   └── video50.mp4
└── input.jsonl

Un esempio di record del file input.jsonl potrebbe essere il seguente:

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Quando crei il processo di inferenza in batch, devi specificare il percorso s3://batch-inference-input-bucket della cartella nel parametro. InputDataConfig L'inferenza in batch elaborerà il input.jsonl file in questa posizione, insieme a tutte le risorse di riferimento (come i file video nella videos sottocartella).

Le seguenti risorse forniscono ulteriori informazioni sull’invio di input video per l’inferenza in batch:

L’argomento seguente descrive come configurare le autorizzazioni di accesso S3 e inferenza in batch per un’identità in modo da poter eseguire l’inferenza in batch.