As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Personalizar um modelo com destilação no Amazon Bedrock
A destilação de modelos é o processo de transferência de conhecimentos de um modelo maior e mais inteligente (conhecido como instrutor) para um modelo menor, mais rápido e econômico (conhecido como aprendiz). Nesse processo, o desempenho do modelo aprendiz melhora para um caso de uso específico. A Destilação de Modelos do Amazon Bedrock usa as mais recentes técnicas de síntese de dados para gerar respostas diversas e de alta qualidade (conhecidas como dados sintéticos) por meio do modelo instrutor e ajustar o modelo aprendiz.
Para usar a Destilação de Modelos do Amazon Bedrock, faça o seguinte:
-
Escolha um modelo instrutor e um modelo aprendiz. Para obter mais informações, consulte Escolher modelos instrutor e aprendiz para destilação.
-
Prepare os dados de treinamento para destilação. Seus dados de treinamento são uma coleção de prompts armazenados em arquivos
.jsonl. O Amazon Bedrock usa os dados de entrada para gerar respostas do modelo instrutor e usa as respostas para ajustar o modelo aprendiz.-
Você pode otimizar o processo de geração de dados sintéticos formatando os prompts de entrada para o caso de uso desejado. Para obter mais informações, consulte Otimizar os prompts de entrada para geração de dados sintéticos.
-
É possível preparar dados de entrada rotulados como pares de prompt-resposta. O Amazon Bedrock pode usar esses pares como exemplos ideais ao gerar respostas com base no modelo instrutor. Para obter mais informações, consulte Opção 1: fornecer seus próprios prompts para a preparação de dados.
-
Se você ativar o registro de invocação de CloudWatch registros, poderá usar as respostas existentes dos professores dos registros de invocação armazenados no Amazon S3 como dados de treinamento. Um log de invocação no Amazon Bedrock é um registro detalhado de invocações do modelo. Para obter mais informações, consulte Opção 2: usar logs de invocação para preparação de dados.
-
-
Crie um trabalho de destilação. Esse trabalho criar um modelo menor, mais rápido e mais econômico para seu caso de uso. Somente você pode acessar o modelo final destilado. O Amazon Bedrock não usa seus dados para treinar nenhum outro modelo aprendiz ou instrutor para uso público. Para obter mais informações, consulte Enviar um trabalho de destilação de modelos no Amazon Bedrock. Após a conclusão do trabalho de destilação, você poderá analisar os resultados do processo de personalização. Para obter mais informações, consulte Analisar os resultados de um trabalho de personalização de modelo. Para ter informações sobre como configurar a inferência para seu modelo, consulte Configurar a inferência para um modelo personalizado.
Tópicos
Como funciona a Destilação de Modelos do Amazon Bedrock
A Destilação de Modelos do Amazon Bedrock é um fluxo de trabalho único que automatiza o processo de criação de um modelo destilado. Nesse fluxo de trabalho, o Amazon Bedrock gera respostas de um modelo instrutor, adiciona técnicas de síntese de dados para melhorar a geração de respostas e ajusta o modelo aprendiz com as respostas geradas. O conjunto de dados ampliado é dividido em conjuntos de dados separados para uso em treinamento e validação. O Amazon Bedrock usa somente os dados no conjunto de dados de treinamento para ajustar o modelo aprendiz.
Depois de identificar seus modelos aprendiz e instrutor, você pode escolher como deseja que o Amazon Bedrock crie um modelo destilado para seu caso de uso. O Amazon Bedrock pode gerar respostas de instrutores usando os prompts fornecidos por você ou você pode usar respostas de seus dados de produção por meio de logs de invocação. A Destilação de Modelos do Amazon Bedrock usa essas respostas para ajustar o modelo aprendiz.
nota
Se o Amazon Bedrock Model Distillation usar suas técnicas proprietárias de síntese de dados para gerar respostas de professores de maior qualidade, você Conta da AWS incorrerá em cobranças adicionais por chamadas de inferência para o modelo do professor. Essas cobranças serão aplicadas de acordo com as taxas de inferência sob demanda do modelo instrutor. As técnicas de síntese de dados podem aumentar o tamanho do conjunto de dados de ajuste fino para no máximo 15 mil pares de prompt-resposta. Para ter mais informações sobre as cobranças do Amazon Bedrock, consulte Preços do Amazon Bedrock
Criar um modelo destilado usando prompts fornecidos por você
O Amazon Bedrock usa os prompts de entrada que você fornece para gerar respostas com base no modelo instrutor. Em seguida, o Amazon Bedrock usa as respostas para ajustar o modelo aprendiz que você identificou. Dependendo do seu caso de uso, o Amazon Bedrock pode adicionar técnicas de síntese de dados proprietários para gerar respostas diversas e de maior qualidade. Por exemplo, o Amazon Bedrock pode gerar prompts semelhantes para produzir respostas mais diversas do modelo instrutor. Ou, se você fornecer opcionalmente alguns dados de entrada rotulados como pares de prompt-resposta, o Amazon Bedrock poderá usar esses pares como exemplos ideais para instruir o instrutor a gerar respostas semelhantes de alta qualidade.
Criar um modelo destilado usando dados de produção
Se você já tiver respostas geradas pelo modelo instrutor e armazenadas nos logs de invocação, poderá usar essas respostas existentes do instrutor para ajustar o modelo aprendiz. Para isso, você precisará fornecer ao Amazon Bedrock acesso aos logs de invocação. Um log de invocação no Amazon Bedrock é um registro detalhado de invocações do modelo. Para obter mais informações, consulte Monitorar a invocação do modelo usando CloudWatch registros.
Se você escolher essa opção, poderá continuar usando as operações da API de inferência do Amazon Bedrocks, como InvokeModela API Converse, e coletar os registros de invocação, os dados de entrada do modelo (prompts) e os dados de saída do modelo (respostas) para todas as invocações usadas no Amazon Bedrock.
Ao gerar respostas do modelo usando as operações de API InvokeModel ou Converse, você pode opcionalmente adicionar requestMetadata às respostas. Ao criar um trabalho de destilação, é possível filtrar de acordo com esses metadados como parte da configuração dos logs de invocação. Você pode filtrar por casos de uso específicos para que o Amazon Bedrock use apenas as respostas filtradas para ajustar o modelo aprendiz. Ao optar por usar logs de invocação para ajustar o modelo aprendiz, você pode fazer com que o Amazon Bedrock use somente os prompts ou use pares de prompt-resposta.
Escolher prompts com logs de invocação
Se você optar por fazer com que o Amazon Bedrock use somente os prompts dos logs de invocação, ele usará os prompts para gerar respostas do modelo instrutor. Nesse caso, o Amazon Bedrock usa as respostas para ajustar o modelo aprendiz que você identificou. Dependendo do seu caso de uso, a Destilação de Modelos do Amazon Bedrock pode adicionar técnicas de síntese de dados proprietários para gerar respostas diversas e de maior qualidade.
Escolher pares de prompt-resposta com logs de invocação
Se você optar por fazer com que o Amazon Bedrock use pares de prompt-resposta dos logs de invocação, ele não gerará novamente as respostas do modelo instrutor e usará as respostas do log de invocação para ajustar o modelo aprendiz. Para que o Amazon Bedrock leia as respostas dos logs de invocação, o modelo instrutor especificado em seu trabalho de destilação de modelos deve corresponder ao modelo usado no log de invocação. Se não houver correspondência, os logs de invocação não serão usados. Se você adicionou metadados de solicitação às respostas no log de invocação, então, para ajustar o modelo aprendiz, você pode especificar os filtros de metadados da solicitação para que o Amazon Bedrock leia somente logs específicos que sejam válidos para seu caso de uso.
