Prepare os dados para ajustar seus modelos

As seções a seguir descrevem os diferentes recursos de ajuste fino suportados por cada modelo, organizados por suas modalidades de entrada e saída. Para ter informações sobre como ajustar modelos do Amazon Nova, consulte Ajuste dos modelos do Amazon Nova.

Text-to-Text modelos

Text-to-Text os modelos podem ser ajustados para várias tarefas baseadas em texto, incluindo aplicativos conversacionais e não conversacionais. Para obter informações sobre como preparar dados para Text-to-Text modelos de ajuste fino, consulte. Prepare dados para modelos de ajuste fino text-to-text

Os seguintes modelos não conversacionais são otimizados para determinadas tarefas, como resumo, tradução e resposta a perguntas:

Os modelos conversacionais a seguir foram projetados para interações de um único turno e de vários turnos. Caso um modelo use a API Converse, seu conjunto de dados de ajuste fino deve seguir o formato de mensagem da API Converse e incluir mensagens do sistema, do usuário e do assistente. Para obter exemplos, consulte Prepare dados para modelos de ajuste fino text-to-text. Para ter mais informações sobre as operações da API Converse, consulte Realizar uma conversa com as operações de API Converse.

Text-Image-to-Text & Text-to-Image modelo s

Os modelos a seguir permitem o uso de ajuste fino para geração de imagens e processamento de imagens de texto. Esses modelos processam ou geram imagens com base na entrada de texto ou geram texto com base nas entradas de texto e de imagem. Para obter informações sobre como preparar dados para ajuste fino Text-Image-to-Text e Text-to-Image modelos de modelos, consulte. Preparar os dados para ajustar modelos de processamento de imagem e texto

Conversão de imagem em incorporações

Os modelos a seguir permitem o uso de ajuste fino para tarefas como classificação e recuperação. Esses modelos geram representações numéricas (incorporações) das entradas de imagem. Para obter informações sobre como preparar dados para Image-to-Embeddings modelos de ajuste fino, consulte. Preparar dados para ajustar modelos de geração e incorporação de imagens

As seções a seguir listam os requisitos dos conjuntos de dados de treinamento e validação de um modelo. Para ter informações sobre restrições de conjunto de dados para modelos do Amazon Nova, consulte Ajuste dos modelos do Amazon Nova.

Para text-to-text modelos de ajuste fino, cada objeto JSON é uma amostra contendo campos estruturados projetados para orientar o modelo na geração da saída textual desejada com base em um prompt textual fornecido. O formato dos dados varia de acordo com o caso de uso, amplamente categorizado em casos de uso não conversacionais e conversacionais.

Para image-text-to-text modelos de ajuste fino, cada objeto JSON é uma amostra contendo uma conversa estruturada como uma messages matriz, consistindo em objetos JSON alternados representando as entradas do usuário e as respostas do assistente. As entradas do usuário podem incluir texto e imagem, enquanto as respostas do assistente são sempre textuais. Essa estrutura permite fluxos de conversação de um e vários turnos e que o modelo gerencie diversas tarefas de forma eficaz. Os formatos de imagem compatíveis para o Meta Llama-3.2 11B Vision Instruct e o Meta Llama-3.2 90B Vision Instruct incluem: gif, jpeg, png e webp.

Para permitir que o Amazon Bedrock acesse os arquivos de imagem, adicione uma política do IAM semelhante à de Permissões para acessar arquivos de treinamento e de validação e gravar os arquivos de saída no S3 ao perfil de serviço do Amazon Bedrock de personalização de modelo do Amazon Bedrock que você configurou ou que foi configurado automaticamente para você no console. Os caminhos do Amazon S3 que você fornece no conjunto de dados de treinamento devem estar nas pastas que você especifica na política.

Conversas de um único turno

Cada objeto JSON para conversas de um único turno consiste em uma mensagem de usuário e uma mensagem de assistente. A mensagem do usuário inclui um campo de perfil definido como usuário e um campo de conteúdo que contém uma matriz com um campo type (texto ou imagem) que descreve a modalidade de entrada. Para entradas de texto, o campo content inclui um campo text com a pergunta ou prompt do usuário. Para entradas de imagem, o campo content especifica a imagem format (por exemplo, jpeg, png) e a source com um uri apontando para o local da imagem no Amazon S3. O uri representa o caminho exclusivo para a imagem armazenada em um bucket do Amazon S3, normalmente no formato s3://<bucket-name>/<path-to-file>. A mensagem do assistente inclui um campo role definido como assistente e um campo content que contém uma matriz com um campo type definido como texto e um campo text que contém a resposta gerada do assistente.

Formato de exemplo

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [{
        "text": "You are a smart assistant that answers questions respectfully"
    }],
    "messages": [{
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                },
                {
                    "image": {
                        "format": "png",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.png",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        }
    ]
}

Conversas em vários turnos

Cada objeto JSON para conversas em vários turnos contém uma sequência de mensagens com perfis alternados, em que as mensagens do usuário e as mensagens do assistente são estruturadas de forma consistente para permitir trocas coerentes. As mensagens do usuário incluem um campo role definido como usuário e um campo content que descreve a modalidade de entrada. Para entradas de texto, o campo content inclui um campo text com a pergunta ou acompanhamento do usuário, enquanto para entradas de imagem, ele especifica o format e a respectiva source da imagem com o uri apontando para o local da imagem no Amazon S3. O uri serve como um identificador exclusivo no formato s3://<bucket-name>/< path-to-file > e permite que o modelo acesse a imagem do bucket Amazon S3 designado. A mensagem do assistente inclui um campo role definido como assistente e um campo content que contém uma matriz com um campo type definido como texto e um campo text que contém a resposta gerada do assistente. As conversas podem abranger várias trocas, permitindo que o assistente mantenha o contexto e forneça respostas coerentes o tempo todo.

Formato de exemplo

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [{
        "text": "You are a smart assistant that answers questions respectfully"
    }],
    "messages": [{
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                },
                {
                    "image": {
                        "format": "png",
                        "source": {
                            "s3Location": {
                                "uri": "s3://your-bucket/your-path/your-image.png",
                                "bucketOwner": "your-aws-account-id"
                            }
                        }
                    }
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        },
        {
            "role": "user",
            "content": [{
                    "text": "What does the text in this image say?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [{
                "text": "The text in the attached image says 'LOL'."
            }]
        }
        
    ]
}
    

Para text-to-image nossos image-to-embedding modelos, prepare um conjunto de dados de treinamento. Os conjuntos de dados de validação não são compatíveis. Cada objeto do JSON é uma amostra que contém uma image-ref, o URI do Amazon S3 de uma imagem e um caption que pode ser um prompt da imagem.

As imagens devem estar no formato JPEG ou PNG.

{"image-ref": "s3://bucket/path/to/image001.png", "caption": "<prompt text>"}
{"image-ref": "s3://bucket/path/to/image002.png", "caption": "<prompt text>"}{"image-ref": "s3://bucket/path/to/image003.png", "caption": "<prompt text>"}    

Veja a seguir um exemplo de item.

{"image-ref": "s3://amzn-s3-demo-bucket/my-pets/cat.png", "caption": "an orange cat with white spots"}

Para permitir que o Amazon Bedrock acesse os arquivos de imagem, adicione uma política do IAM semelhante à de Permissões para acessar arquivos de treinamento e de validação e gravar os arquivos de saída no S3 ao perfil de serviço do Amazon Bedrock de personalização de modelo do Amazon Bedrock que você configurou ou que foi configurado automaticamente para você no console. Os caminhos do Amazon S3 que você fornece no conjunto de dados de treinamento devem estar nas pastas que você especifica na política.