As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Personalizar um modelo com destilação no Amazon Bedrock
A destilação de modelos é o processo de transferência de conhecimentos de um modelo maior e mais inteligente (conhecido como instrutor) para um modelo menor, mais rápido e econômico (conhecido como aprendiz). Nesse processo, o desempenho do modelo aprendiz melhora para um caso de uso específico. A Destilação de Modelos do Amazon Bedrock usa as mais recentes técnicas de síntese de dados para gerar respostas diversas e de alta qualidade (conhecidas como dados sintéticos) por meio do modelo instrutor e ajustar o modelo aprendiz.
Como usar o Amazon Bedrock Model Distillation
Para usar a Destilação de Modelos do Amazon Bedrock, faça o seguinte:
-
Escolha um modelo de professor e um modelo de aluno — Para obter mais informações, consultePré-requisitos para destilação de modelos.
-
Prepare seus dados de treinamento para destilação — Seus dados de treinamento são uma coleção de instruções armazenadas em arquivos.
.jsonlO Amazon Bedrock usa os dados de entrada para gerar respostas do modelo instrutor e usa as respostas para ajustar o modelo aprendiz.-
Otimize os prompts — formate seus prompts de entrada para o caso de uso que você deseja. Para obter mais informações, consulte Otimizar os prompts de entrada para geração de dados sintéticos.
-
Use exemplos rotulados — Prepare dados de entrada rotulados como pares de pronto-resposta. O Amazon Bedrock pode usar esses pares como exemplos ideais ao gerar respostas com base no modelo instrutor. Para obter mais informações, consulte Opção 1: fornecer seus próprios prompts para a preparação de dados.
-
Use registros de invocação — Se você ativar o registro de invocação de CloudWatch registros, poderá usar as respostas existentes dos professores a partir dos registros de invocação armazenados no Amazon S3 como dados de treinamento. Um log de invocação no Amazon Bedrock é um registro detalhado de invocações do modelo. Para obter mais informações, consulte Opção 2: usar logs de invocação para preparação de dados.
-
-
Crie um trabalho de destilação — Esse trabalho cria um modelo menor, mais rápido e mais econômico para seu caso de uso. Somente você pode acessar o modelo final destilado. O Amazon Bedrock não usa seus dados para treinar nenhum outro modelo aprendiz ou instrutor para uso público. Para obter mais informações, consulte Enviar um trabalho de destilação de modelos no Amazon Bedrock. Para obter mais informações sobre como configurar a inferência sob demanda, consulteConfigurar a inferência para um modelo personalizado.
Como funciona a Destilação de Modelos do Amazon Bedrock
A Destilação de Modelos do Amazon Bedrock é um fluxo de trabalho único que automatiza o processo de criação de um modelo destilado. Nesse fluxo de trabalho, o Amazon Bedrock gera respostas de um modelo instrutor, adiciona técnicas de síntese de dados para melhorar a geração de respostas e ajusta o modelo aprendiz com as respostas geradas. O conjunto de dados ampliado é dividido em conjuntos de dados separados para uso em treinamento e validação. O Amazon Bedrock usa somente os dados no conjunto de dados de treinamento para ajustar o modelo aprendiz.
Depois de identificar seus modelos aprendiz e instrutor, você pode escolher como deseja que o Amazon Bedrock crie um modelo destilado para seu caso de uso. O Amazon Bedrock pode gerar respostas de instrutores usando os prompts fornecidos por você ou você pode usar respostas de seus dados de produção por meio de logs de invocação. A Destilação de Modelos do Amazon Bedrock usa essas respostas para ajustar o modelo aprendiz.
nota
Se o Amazon Bedrock Model Distillation usar suas técnicas proprietárias de síntese de dados para gerar respostas de professores de maior qualidade, você Conta da AWS incorrerá em cobranças adicionais por chamadas de inferência para o modelo do professor. Essas cobranças serão aplicadas de acordo com as taxas de inferência sob demanda do modelo instrutor. As técnicas de síntese de dados podem aumentar o tamanho do conjunto de dados de ajuste fino para no máximo 15 mil pares de prompt-resposta. Para ter mais informações sobre as cobranças do Amazon Bedrock, consulte Preços do Amazon Bedrock
O Amazon Bedrock usa os prompts de entrada que você fornece para gerar respostas com base no modelo instrutor. Em seguida, o Amazon Bedrock usa as respostas para ajustar o modelo aprendiz que você identificou. Dependendo do seu caso de uso, o Amazon Bedrock pode adicionar técnicas de síntese de dados proprietários para gerar respostas diversas e de maior qualidade. Por exemplo, o Amazon Bedrock pode gerar prompts semelhantes para produzir respostas mais diversas do modelo instrutor. Ou, se você fornecer opcionalmente alguns dados de entrada rotulados como pares de prompt-resposta, o Amazon Bedrock poderá usar esses pares como exemplos ideais para instruir o instrutor a gerar respostas semelhantes de alta qualidade.
Se você já tiver respostas geradas pelo modelo instrutor e armazenadas nos logs de invocação, poderá usar essas respostas existentes do instrutor para ajustar o modelo aprendiz. Para isso, você precisará fornecer ao Amazon Bedrock acesso aos logs de invocação. Um log de invocação no Amazon Bedrock é um registro detalhado de invocações do modelo. Para obter mais informações, consulte Monitorar a invocação do modelo usando CloudWatch registros.
Se você escolher essa opção, poderá continuar usando as operações da API de inferência do Amazon Bedrocks, como InvokeModela API Converse, e coletar os registros de invocação, os dados de entrada do modelo (prompts) e os dados de saída do modelo (respostas) para todas as invocações usadas no Amazon Bedrock.
Ao gerar respostas do modelo usando as operações de API InvokeModel ou Converse, você pode opcionalmente adicionar requestMetadata às respostas. Ao criar um trabalho de destilação, é possível filtrar de acordo com esses metadados como parte da configuração dos logs de invocação. Você pode filtrar por casos de uso específicos para que o Amazon Bedrock use apenas as respostas filtradas para ajustar o modelo aprendiz. Ao optar por usar logs de invocação para ajustar o modelo aprendiz, você pode fazer com que o Amazon Bedrock use somente os prompts ou use pares de prompt-resposta.
