Formatar e carregar os dados de inferência - Amazon Bedrock
Exemplo de entrada de texto para AnthropicClaude 3 HaikuExemplo de entrada de vídeo para Amazon Nova

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Formatar e carregar os dados de inferência

Você deve adicionar seus dados de inferência em lote a um local do S3 que você escolherá ou especificará ao enviar um trabalho de invocação de modelo. O local do S3 deve conter os seguintes itens:

  • Pelo menos um arquivo JSONL que define as entradas do modelo. Um JSONL contém linhas de objetos JSON. Seu arquivo JSONL deve terminar com a extensão .jsonl e estar no seguinte formato:

    { "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
...

    Cada linha contém um objeto JSON com um campo recordId e um campo modelInput que contêm o corpo da solicitação para uma entrada que você deseja enviar. O formato do objeto JSON modelInput deve corresponder ao campo body do modelo usado na solicitação InvokeModel. Para obter mais informações, consulte Parâmetros de solicitação de inferência e campos de resposta para modelos de base.

    nota

    • Se você omitir o campo recordId, o Amazon Bedrock o adicionará na saída.

    • É garantido que a ordem dos registros no arquivo JSONL de saída corresponda à ordem dos registros no arquivo JSONL de entrada.

    • Você especifica o modelo que deseja usar ao criar o trabalho de inferência em lote.

  • (Se você definir o conteúdo de entrada como um local do Amazon S3) Alguns modelos permitem que você defina o conteúdo da entrada como um local do S3. Se você escolher essa opção, certifique-se de que o local do S3 que você especificará contenha seu conteúdo e seus arquivos JSONL. Seu conteúdo e arquivos JSONL podem ser aninhados em pastas no local do S3 que você especificar. Para obter um exemplo, consulte Exemplo de entrada de vídeo para Amazon Nova.

Certifique-se de que suas entradas estejam em conformidade com as cotas de inferência em lote. Você pode pesquisar as seguintes cotas nas cotas de serviço Amazon Bedrock:

  • Número mínimo de registros por trabalho de inferência em lote — O número mínimo de registros (objetos JSON) nos arquivos JSONL no trabalho.

  • Registros por arquivo de entrada por trabalho de inferência em lote — O número máximo de registros (objetos JSON) em um único arquivo JSONL no trabalho.

  • Registros por trabalho de inferência em lote — O número máximo de registros (objetos JSON) nos arquivos JSONL no trabalho.

  • Tamanho do arquivo de entrada de inferência em lote — O tamanho máximo de um único arquivo no trabalho.

  • Tamanho do trabalho de inferência em lote — O tamanho máximo cumulativo de todos os arquivos de entrada.

Para entender melhor como configurar suas entradas de inferência em lote, veja os exemplos a seguir:

Exemplo de entrada de texto para AnthropicClaude 3 Haiku

Se você planeja executar inferência em lote usando o formato da API de mensagens para o Anthropic Claude 3 Haiku modelo, você pode fornecer um arquivo JSONL contendo o seguinte objeto JSON como uma das linhas:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Exemplo de entrada de vídeo para Amazon Nova

Se você planeja executar inferência em lote em entradas de vídeo usando os Amazon Nova Pro modelos Amazon Nova Lite or, você tem a opção de definir o vídeo em bytes ou como um local S3 no arquivo JSONL. Por exemplo, você pode ter um bucket do S3 cujo caminho é s3://batch-inference-input-bucket e contém os seguintes arquivos:

videos/
    video1.mp4
    video2.mp4
    ...
    video50.mp4
input.jsonl

Um exemplo de registro do input.jsonl arquivo seria o seguinte:

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Ao criar o trabalho de inferência em lote, você pode especificar s3://batch-inference-input-bucket como o local do S3. A inferência em lote processará o input.jsonl arquivo no local, além dos arquivos de vídeo dentro da videos pasta referenciados no arquivo JSONL.

Os recursos a seguir fornecem mais informações sobre o envio de entradas de vídeo para inferência em lote:

  • Para saber como validar proativamente o Amazon URIs S3 em uma solicitação de entrada, consulte o blog de análise de URL do Amazon S3.

  • Para obter mais informações sobre como configurar registros de invocação para compreensão de vídeo com o Nova, consulte as diretrizes de estimulação Amazon Nova visual.

O tópico a seguir descreve como configurar as permissões de acesso e inferência em lote do S3 para que uma identidade possa realizar inferência em lote.