Ajuste fino supervisionado na versão 2.0 Amazon Nova - Amazon Bedrock
Visão geral do Recursos compatíveisLimitações atuaisFormatos de mídia compatíveisExemplos de formato de dadosModos de raciocínio e não raciocínioDiretrizes de preparação de conjuntos de dados

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Ajuste fino supervisionado na versão 2.0 Amazon Nova

Visão geral do

Amazon NovaOs dados 2.0 SFT usam o mesmo formato de API Converse da Amazon Nova 1.0, com a adição de campos de conteúdo de raciocínio opcionais. Para obter as especificações completas do formato, consulte ReasoningContentBlocko esquema da API Converse.

Recursos compatíveis

  • Tipos de entrada — texto, imagem ou vídeo em blocos de conteúdo do usuário

  • Conteúdo do Assistente — respostas somente em texto e conteúdo de raciocínio

  • Composição do conjunto de dados — deve ser homogênea. Escolha uma das seguintes opções: curvas somente de texto, curvas de texto+imagem ou curvas de texto+vídeo

Importante

Você não pode misturar imagens e vídeos no mesmo conjunto de dados ou em turnos diferentes.

Limitações atuais

  • Uso da ferramenta — Embora o uso da ferramenta seja suportado no formato de entrada, atualmente não é suportado pelo Amazon Nova 2.0 SFT. Adicionar seções de ferramentas pode fazer com que seu trabalho falhe.

  • Conteúdo de raciocínio multimodal — Embora o formato Converse ofereça suporte a conteúdo de raciocínio baseado em imagem, isso não é suportado pelo 2.0 SFT. Amazon Nova

  • Conjuntos de validação — O fornecimento de um conjunto de validação pode ser suportado por meio da interface do usuário, mas não será suportado durante o treinamento do SFT.

Formatos de mídia compatíveis

  • Imagens — PNG, JPEG, GIF

  • Vídeos — MOV, MKV, MP4

Exemplos de formato de dados

Text-only

Este exemplo mostra um formato básico somente de texto compatível com Amazon Nova 1.0.

{
  "schemaVersion": "bedrock-conversation-2024",
  "system": [
    {
      "text": "You are a digital assistant with a friendly personality"
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "text": "What country is right next to Australia?"
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "text": "The closest country is New Zealand"
        }
      ]
    }
  ]
}
Text with reasoning

Este exemplo mostra texto com conteúdo de raciocínio opcional para Amazon Nova 2.0.

{
  "schemaVersion": "bedrock-conversation-2024",
  "system": [
    {
      "text": "You are a digital assistant with a friendly personality"
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "text": "What country is right next to Australia?"
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "reasoningContent": {
            "reasoningText": {
              "text": "I need to use my world knowledge of geography to answer this question"
            }
          }
        },
        {
          "text": "The closest country to Australia is New Zealand, located to the southeast across the Tasman Sea."
        }
      ]
    }
  ]
}
nota

Atualmente, só reasoningText é suportado noreasoningContent. O conteúdo de raciocínio multimodal ainda não está disponível.

Image + text

Este exemplo mostra como incluir entrada de imagem com texto.

{
  "schemaVersion": "bedrock-conversation-2024",
  "system": [
    {
      "text": "You are a helpful assistant."
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "image": {
            "format": "jpeg",
            "source": {
              "s3Location": {
                "uri": "s3://your-bucket/your-path/your-image.jpg",
                "bucketOwner": "your-aws-account-id"
              }
            }
          }
        },
        {
          "text": "Which country is highlighted in the image?"
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "reasoningContent": {
            "reasoningText": {
              "text": "I will determine the highlighted country by examining its location on the map and using my geographical knowledge"
            }
          }
        },
        {
          "text": "The highlighted country is New Zealand"
        }
      ]
    }
  ]
}
Video + text

Este exemplo mostra como incluir entrada de vídeo com texto.

{
  "schemaVersion": "bedrock-conversation-2024",
  "system": [
    {
      "text": "You are a helpful assistant."
    }
  ],
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "video": {
            "format": "mp4",
            "source": {
              "s3Location": {
                "uri": "s3://your-bucket/your-path/your-video.mp4",
                "bucketOwner": "your-aws-account-id"
              }
            }
          }
        },
        {
          "text": "What is shown in this video?"
        }
      ]
    },
    {
      "role": "assistant",
      "content": [
        {
          "reasoningContent": {
            "reasoningText": {
              "text": "I will analyze the video content to identify key elements"
            }
          }
        },
        {
          "text": "The video shows a map with New Zealand highlighted"
        }
      ]
    }
  ]
}

Modos de raciocínio e não raciocínio

Entendendo o conteúdo do raciocínio: o conteúdo de raciocínio (também chamado chain-of-thought) captura as etapas intermediárias do pensamento do modelo antes de gerar uma resposta final. assistantPor sua vez, use o reasoningContent campo para incluir esses traços de raciocínio.

Como a perda é calculada:

  • Com conteúdo de raciocínio — a perda de treinamento inclui tokens de raciocínio e tokens de saída final

  • Conteúdo sem raciocínio — a perda de treinamento é calculada apenas com base nos tokens de saída finais

Você pode incluir reasoningContent vários turnos de assistente em conversas de vários turnos.

Quando ativar o modo de raciocínio

reasoning_enabled: trueDefina sua configuração de treinamento quando quiser que o modelo gere tokens de pensamento antes de produzir os resultados finais ou precisar de um desempenho aprimorado em tarefas complexas de raciocínio.

nota

Você pode ativar o modo de raciocínio independentemente de seus dados de treinamento conterem conteúdo de raciocínio. No entanto, é recomendável incluir traços de raciocínio em seus dados de treinamento para que o modelo possa aprender com esses exemplos e melhorar a qualidade do raciocínio.

Defina reasoning_enabled: false quando você está treinando em tarefas simples que não se beneficiam de etapas explícitas de raciocínio ou que desejam otimizar a velocidade e reduzir o uso de tokens.

Diretrizes de formatação

  • Use texto simples para raciocinar o conteúdo.

  • Evite tags de marcação como <thinking> e, </thinking> a menos que sejam especificamente exigidas por sua tarefa.

  • Garanta que o conteúdo do raciocínio seja claro e relevante para o processo de solução de problemas.

Gerando dados de raciocínio

Se seu conjunto de dados não tiver traços de raciocínio, você poderá criá-los usando um modelo capaz de raciocínio, como o. Forneça seus pares de entrada e saída ao modelo e capture seu processo de raciocínio para criar um conjunto de dados com raciocínio aumentado.

Usando tokens de raciocínio para treinamento

Ao treinar com o modo de raciocínio ativado, o modelo aprende a separar o raciocínio interno da resposta final. O processo de treinamento faz o seguinte:

  • Organiza os dados como triplos: entrada, raciocínio e resposta

  • Otimiza usando a perda de previsão padrão do próximo token tanto dos tokens de raciocínio quanto dos tokens de resposta

  • Incentiva o modelo a raciocinar internamente antes de gerar respostas

Conteúdo de raciocínio eficaz

O conteúdo de raciocínio de alta qualidade deve incluir o seguinte:

  • Pensamentos e análises intermediários

  • Deduções lógicas e etapas de inferência

  • Step-by-step abordagens de resolução de problemas

  • Conexões explícitas entre etapas e conclusões

Isso ajuda o modelo a desenvolver a capacidade de pensar antes de responder.

Diretrizes de preparação de conjuntos de dados

A tabela a seguir fornece diretrizes para preparar seu conjunto de dados de treinamento.

Diretrizes de preparação de conjuntos de dados

Diretriz Description
Tamanho e qualidade

  • Tamanho recomendado: 2.000-10.000 amostras

  • Amostras mínimas: 200

  • Priorize a qualidade em vez da quantidade. Certifique-se de que os exemplos sejam precisos e bem anotados.

  • O conjunto de dados deve refletir de perto seus casos de uso de produção.
Diversidade

Inclua diversos exemplos que façam o seguinte:

  • Cubra toda a gama de entradas esperadas

  • Representa diferentes níveis de dificuldade

  • Inclua casos extremos e variações

  • Evite o ajuste excessivo a padrões estreitos
Formatação de saída

Especifique claramente o formato de saída desejado nas respostas do assistente. Os exemplos incluem estruturas JSON, tabelas, formato CSV ou formatos personalizados específicos para seu aplicativo.
Conversas em vários turnos

  • A perda é calculada somente nos turnos do assistente, não nos turnos do usuário.

  • Cada resposta do assistente deve ser formatada corretamente.

  • Mantenha a consistência em todos os turnos de conversa.
Lista de verificação de qualidade

  • Tamanho suficiente do conjunto de dados (2.000 a 10.000 amostras)

  • Diversos exemplos que abrangem todos os casos de uso

  • Formatação de saída clara e consistente

  • Etiquetas e anotações precisas

  • Representante dos cenários de produção

  • Livre de contradições ou ambigüidades