Preparar dados para ajustar modelos de conversão de texto em texto

Para ajustar modelos de conversão de texto em texto, cada objeto JSON é uma amostra que contém campos estruturados projetados para orientar o modelo a gerar a saída textual desejada com base em um prompt textual fornecido. O formato dos dados varia de acordo com o caso de uso, amplamente categorizado em casos de uso não conversacionais e conversacionais. As tarefas não conversacionais envolvem prompts e saídas autônomos, enquanto as tarefas conversacionais podem ser divididas em trocas de um único turno, em que o modelo responde a uma única entrada do usuário, e diálogos de vários turnos, em que o modelo mantém o contexto em várias trocas.

Tarefas não conversacionais

As tarefas não conversacionais envolvem a geração de uma única saída para determinada entrada. Cada amostra do conjunto de dados inclui um campo prompt contendo o texto de entrada e um campo completion com a saída esperada. Esse formato permite uma variedade de tarefas, como resposta a perguntas, resumo, tradução, preenchimento de texto e extração de informações.

Formato de exemplo

{"prompt": "What is the capital of France?", "completion": "The capital of France is Paris."}
{"prompt": "Summarize the article about climate change.", "completion": "Climate change refers to the long-term alteration of temperature and typical weather patterns in a place."}

Use aproximadamente seis caracteres por token para estimar o número de tokens para o planejamento do tamanho do conjunto de dados.

Formato de API Converse (turno único e vários turnos)

Para usar a API Converse, você chama as operações ConverseStream ou Converse para enviar mensagens a um modelo. Para chamar Converse, é necessário ter a permissão para a operação bedrock:InvokeModel. Para chamar ConverseStream, é necessário ter a permissão para a operação bedrock:InvokeModelWithResponseStream. Para obter mais informações, consulte Usar a API Converse. Para ter mais informações sobre as operações da API Converse, consulte Realizar uma conversa com as operações de API Converse.

Formato de exemplo

{
    "schemaVersion": "bedrock-conversation-2024",
    "system": [
        {
            "text": "You are a digital assistant with a friendly personality"
        }
    ],
    "messages": [
        {
            "role": "user",
            "content": [
                {
                    "text": "What is the capital of Mars?"
                }
            ]
        },
        {
            "role": "assistant",
            "content": [
                {
                    "text": "Mars does not have a capital. Perhaps it will one day."
                }
            ]
        }
    ]
}

Somente para o Claude 3 Haiku da Anthropic: conversas de um único turno

As tarefas conversacionais de um único turno envolvem trocas isoladas, nas quais o modelo gera uma resposta com base apenas na entrada atual do usuário, sem considerar o contexto anterior. Cada amostra do conjunto de dados usa uma matriz de mensagens, com perfis alternados de user e assistant.

Formato

{"system": "<system message>","messages":[{"role": "user", "content": "<user query>"},{"role": "assistant", "content": "<expected generated text>"}]}

Exemplo

{"system": "You are an helpful assistant.","messages":[{"role": "user", "content": "what is AWS"},{"role": "assistant", "content": "it's Amazon Web Services."}]}

Somente para o Claude 3 Haiku da Anthropic: conversas de vários turnos

As tarefas conversacionais de vários turnos envolvem diálogos estendidos em que o modelo deve gerar respostas e, ao mesmo tempo, preservar o contexto das trocas anteriores. Esse formato captura a natureza dinâmica das tarefas interativas, como suporte ao cliente ou discussões complexas.

Formato

{"system": "<system message>","messages":[{"role": "user", "content": "<user query 1>"},{"role": "assistant", "content": "<expected generated text 1>"}, {"role": "user", "content": "<user query 2>"},{"role": "assistant", "content": "<expected generated text 2>"}]}

Exemplo

{"system": "system message","messages":[{"role": "user", "content": "Hello there."},{"role": "assistant", "content": "Hi, how can I help you?"},{"role": "user", "content": "what are LLMs?"},{"role": "assistant", "content": "LLM means large language model."},]}