View a markdown version of this page

Formatar e carregar os dados de inferência - Amazon Bedrock
Exemplo de entrada de texto para o da Anthropic Claude 3 HaikuExemplo de entrada de vídeo para Amazon NovaExemplo de entrada Converse

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Formatar e carregar os dados de inferência

Você deve adicionar seus dados de inferência em lote a um local do S3 que você escolherá ou especificará ao enviar um trabalho de invocação de modelo. O local do S3 deve conter os seguintes itens:

  • Pelo menos um arquivo JSONL que define as entradas do modelo. Um JSONL que contém linhas de objetos JSON. Seu arquivo JSONL deve terminar com a extensão .jsonl e estar no seguinte formato:

    { "recordId" : "string", "modelInput" : {JSON body} }
...

    Cada linha contém um objeto JSON com um recordId campo e um modelInput campo. O formato do objeto modelInput JSON depende do tipo de invocação do modelo que você escolhe ao criar o trabalho de inferência em lote. Se você usar o InvokeModel tipo (padrão), o formato deverá corresponder ao body campo do modelo usado na InvokeModel solicitação (consulteParâmetros de solicitação de inferência e campos de resposta para modelos de base). Se você usar o Converse tipo, o formato deverá corresponder ao corpo da solicitação da API Converse.

    nota

    • Se você omitir o campo recordId, o Amazon Bedrock o adicionará na saída.

    • Não é garantido que a ordem dos registros no arquivo JSONL de saída corresponda à ordem dos registros no arquivo JSONL de entrada.

    • Especifique o modelo que deseja usar ao criar o trabalho de inferência em lote.

  • (Se o conteúdo de entrada contiver um local do Amazon S3) Alguns modelos permitem que você defina o conteúdo da entrada como um local do S3. Consulte Exemplo de entrada de vídeo para Amazon Nova.

    Atenção

    Ao usar URIs do S3 em seus prompts, todos os recursos devem estar no mesmo bucket e pasta do S3. O InputDataConfig parâmetro deve especificar o caminho da pasta contendo todos os recursos vinculados (como vídeos ou imagens), não apenas um .jsonl arquivo individual. Observe que os caminhos do S3 diferenciam maiúsculas de minúsculas, portanto, certifique-se de que seus URIs correspondam à estrutura exata da pasta.

Suas entradas devem estar de acordo com as cotas de inferência em lote. É possível pesquisas essas seguintes cotas em Cotas de serviço do Amazon Bedrock:

  • Número mínimo de registros por trabalho de inferência em lote: o número mínimo de registros (objetos JSON) nos arquivos JSONL no trabalho.

  • Registros por arquivo de entrada por trabalho de inferência em lote: o número máximo de registros (objetos JSON) em um único arquivo JSONL no trabalho.

  • Registros por trabalho de inferência em lote: o número máximo de registros (objetos JSON) nos arquivos JSONL no trabalho.

  • Tamanho do arquivo de entrada de inferência em lote: o tamanho máximo de um único arquivo na tarefa.

  • Tamanho do trabalho de inferência em lote: o tamanho máximo cumulativo de todos os arquivos de entrada.

Para entender melhor como configurar suas entradas de inferência em lote, consulte os seguintes exemplos:

Exemplo de entrada de texto para o da Anthropic Claude 3 Haiku

Se você planeja executar a inferência em lote usando o formato da API Messages do modelo Claude 3 Haiku da Anthropic, é possível fornecer um arquivo JSONL que contém o seguinte objeto JSON como uma das linhas:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Exemplo de entrada de vídeo para Amazon Nova

Se você planeja executar inferência em lote em entradas de vídeo usando modelos os Amazon Nova Lite ou Amazon Nova Pro, existe a opção de definir o vídeo em bytes ou como um local do S3 no arquivo JSONL. Por exemplo, é possível ter um bucket do S3 cujo caminho é s3://batch-inference-input-bucket e contém os seguintes arquivos:

s3://batch-inference-input-bucket/
├── videos/
│   ├── video1.mp4
│   ├── video2.mp4
│   ├── ...
│   └── video50.mp4
└── input.jsonl

Um exemplo de registro do arquivo input.jsonl seria o seguinte:

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Ao criar o trabalho de inferência em lote, você deve especificar o caminho da pasta s3://batch-inference-input-bucket em seu InputDataConfig parâmetro. A inferência em lote processará o input.jsonl arquivo nesse local, junto com todos os recursos referenciados (como os arquivos de vídeo na videos subpasta).

Os seguintes recursos fornecem mais informações sobre o envio de entradas de vídeo para inferência em lote:

  • Para saber como validar URIs do Amazon S3 em uma solicitação de entrada, consulte o blog de análise de URL do Amazon S3.

  • Para obter mais informações sobre como configurar registros de invocação para compreensão de vídeo com o Nova, consulte as diretrizes de estímulo à Amazon Nova visão.

Exemplo de entrada Converse

Se você definir o tipo de invocação do modelo como Converse ao criar o trabalho de inferência em lote, o modelInput campo deverá usar o formato de solicitação da API Converse. O exemplo a seguir mostra um registro JSONL para um trabalho de inferência em lote da Converse:

{
    "recordId": "CALL0000001",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "Summarize the following call transcript: ..."
                    }
                ]
            }
        ],
        "inferenceConfig": {
            "maxTokens": 1024
        }
    }
}

Para ver a lista completa dos campos compatíveis com o corpo da solicitação do Converse, consulte Converse na referência da API.

O tópico a seguir descreve como configurar as permissões de acesso e inferência em lote do S3 para que uma identidade possa realizar inferência em lote.