As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Pré-requisitos para destilação de modelos
Antes de começar, conheça os controles de acesso e segurança da Destilação de Modelos. Você também deve escolher um modelo de professor e aluno para seu trabalho de destilação.
Permissões
Antes de começar, conheça os controles de acesso e segurança da Destilação de Modelos. Você deve ter um perfil de serviço do IAM que possa acessar o bucket do Amazon S3 no qual deseja armazenar seus dados de treinamento e validação da Destilação de Modelos. O Amazon Bedrock também tem opções para criptografar e proteger ainda mais seus trabalhos e artefatos de destilação. Para obter mais informações, consulte Acesso e segurança na personalização de modelos.
Para usar um perfil de inferência entre regiões para um modelo de professor em um trabalho de destilação, sua função de serviço deve ter permissões para invocar o perfil de inferência em um Região da AWS, além do modelo em cada região no perfil de inferência. Para ver um exemplo de política, consulte (Opcional) Permissões para criar um trabalho de destilação com um perfil de inferência entre regiões. Para ter mais informações sobre inferência entre regiões, consulte Aumentar o throughput com inferência entre regiões.
Escolher modelos instrutor e aprendiz para destilação
| Tipo de modelo | Critérios de seleção | Principais considerações | Requisitos |
|---|---|---|---|
| Modelo de professor | Escolha um modelo instrutor que seja significativamente maior e mais inteligente do que o modelo aprendiz e com a precisão que você deseja obter para seu caso de uso. | Para tornar a destilação mais eficaz, escolha um modelo que já tenha sido treinado em tarefas semelhantes ao seu caso de uso. Para alguns modelos de professores, você pode escolher um perfil de inferência entre regiões. | Deve ter permissões para invocar perfis e modelos de inferência em cada região. Consulte a documentação de inferência entre regiões para ver exemplos de políticas. |
| Modelo estudantil | Escolha um modelo aprendiz que seja significativamente menor do que o modelo instrutor. | O modelo do aluno deve ser um dos modelos do aluno emparelhados com o modelo do seu professor na tabela de modelos suportados. | Deve ser compatível com o modelo de professor selecionado, conforme mostrado na tabela a seguir. |
A seção a seguir lista os modelos e regiões em que é possível usar a Destilação de Modelos do Amazon Bedrock. Depois de escolher seus modelos instrutores e aprendizes, você prepara e otimiza os conjuntos de dados de treinamento para destilação. Para obter mais informações, consulte Preparar os conjuntos de dados de treinamento para destilação.
Modelos e regiões em que é possível usar a Destilação de Modelos do Amazon Bedrock
A tabela a seguir mostra quais modelos e o Regiões da AWS Amazon Bedrock Model Distillation suporta para modelos de professores e alunos. Se você usar um perfil de inferência entre regiões, somente os perfis de inferência do sistema serão suportados para a destilação de modelos. Para obter mais informações, consulte Aumentar o throughput com inferência entre regiões.
| Fornecedor | Instrutor | ID do instrutor | Suporte ao perfil de inferência | Aprendiz | ID do aprendiz | Região |
|---|---|---|---|---|---|---|
| Amazon | Nova Pro | amazônia. nova-pro-v1:0 | Ambos | Nova Lite Nova Micro |
amazônia. nova-lite-v1:0:300 k amazônia. nova-micro-v1:0:128 k |
Leste dos EUA (Norte da Virgínia) |
| Nova Premier | amazônia. nova-premier-v1:0 | ID do perfil de inferência | Nova Lite Nova Micro Nova Pro |
amazônia. nova-lite-v1:0:300 k amazônia. nova-micro-v1:0:128 k amazônia. nova-pro-v1:0:300 k |
Leste dos EUA (Norte da Virgínia) | |
| Anthropic | Claude 3.5 v1 | anthropic.claude-3-5-sonnet-20240620-v1:0 | Ambos | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
Oeste dos EUA (Oregon) |
| Claude 3.5 v2 | anthropic.claude-3-5-sonnet-20241022-v2:0 | Ambos | Claude 3 Haiku |
anthropic.claude-3-haiku-20240307-v1:0:200k |
Oeste dos EUA (Oregon) | |
| Meta | Llama 3.1 405B | meta.llama3-1-405 1:0 b-instruct-v | Sob demanda | Llama 3.1 8B Llama 3.1 70B Lhama 3.2 1B Llama 3.3 70B |
b-instruct-vmeta.llama3-1-8 1:0:128 k b-instruct-vmeta.llama3-1-70 1:0:128 k b-instruct-vmeta.llama3-2-1 1:0:128 k b-instruct-vmeta.llama3-3-70 1:0:128 k |
Oeste dos EUA (Oregon) |
| Llama 3.1 70B | meta.llama3-1-70 1:0 b-instruct-v | Ambos | Llama 3.1 8B Lhama 3.2 1B Lhama 3.2 3B |
b-instruct-vmeta.llama3-1-8 1:0:128 k b-instruct-vmeta.llama3-2-1 1:0:128 k b-instruct-vmeta.llama3-2-3 1:0:128 k |
Oeste dos EUA (Oregon) | |
| Llama 3.3 70B | meta.llama3-3-70 1:0 b-instruct-v | ID do perfil de inferência | Llama 3.1 8B Lhama 3.2 1B Lhama 3.2 3B |
b-instruct-vmeta.llama3-1-8 1:0:128 k b-instruct-vmeta.llama3-2-1 1:0:128 k b-instruct-vmeta.llama3-2-3 1:0:128 k |
Oeste dos EUA (Oregon) |
nota
-
Para os modelos Claude e Llama, o trabalho de destilação é executado no Oeste dos EUA (Oregon). Você pode comprar throughput provisionado no Oeste dos EUA (Oregon) ou copiar o modelo destilado em outra região e comprar throughput provisionado.
-
Para os modelos do Nova, você executa os trabalhos de destilação na região Leste dos EUA (Norte da Virgínia). Para inferência, você precisa comprar uma throughput provisionado na região Leste dos EUA (Norte da Virgínia). Não é possível copiar modelos do Nova em outras regiões.
