Esempio di codice per l'inferenza in batch - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esempio di codice per l'inferenza in batch

L'esempio di codice in questo capitolo mostra come creare un processo di inferenza in batch, visualizzare le relative informazioni e interromperlo.

Seleziona una lingua per visualizzarne un esempio di codice:

Python

Crea un file JSONL denominato abc.jsonl e includi un oggetto JSON per ogni record che contenga almeno il numero minimo di record (vedi Numero minimo di record per processo di inferenza in batch per). {Model} Quote per Amazon Bedrock In questo esempio, utilizzerai il modello. Anthropic Claude 3 Haiku L'esempio seguente mostra il primo input JSON nel file:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}
... 
# Add records until you hit the minimum

Crea un bucket S3 chiamato amzn-s3-demo-bucket-input e carica il file al suo interno. Quindi crea un bucket S3 chiamato su cui amzn-s3-demo-bucket-output scrivere i file di output. Esegui il seguente frammento di codice per inviare un lavoro e ottenere la risposta dalla jobArn risposta:

import boto3

bedrock = boto3.client(service_name="bedrock")

inputDataConfig=({
    "s3InputDataConfig": {
        "s3Uri": "s3://amzn-s3-demo-bucket-input/abc.jsonl"
    }
})

outputDataConfig=({
    "s3OutputDataConfig": {
        "s3Uri": "s3://amzn-s3-demo-bucket-output/"
    }
})

response=bedrock.create_model_invocation_job(
    roleArn="arn:aws:iam::123456789012:role/MyBatchInferenceRole",
    modelId="anthropic.claude-3-haiku-20240307-v1:0",
    jobName="my-batch-job",
    inputDataConfig=inputDataConfig,
    outputDataConfig=outputDataConfig
)

jobArn = response.get('jobArn')

Restituisci lo status del processo.

bedrock.get_model_invocation_job(jobIdentifier=jobArn)['status']

Elenca i lavori di inferenza in batch che. Failed

bedrock.list_model_invocation_jobs(
    maxResults=10,
    statusEquals="Failed",
    sortOrder="Descending"
)

Arresta il processo che hai iniziato.

bedrock.stop_model_invocation_job(jobIdentifier=jobArn)