Enviar um trabalho de destilação de modelos no Amazon Bedrock - Amazon Bedrock
Pré-requisitosEnviar seu trabalhoPróximas etapas

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Enviar um trabalho de destilação de modelos no Amazon Bedrock

Você pode realizar a destilação do modelo por meio do console do Amazon Bedrock ou enviando uma solicitação CreateModelCustomizationJobcom um endpoint do plano de controle do Amazon Bedrock.

Pré-requisitos

Para obter mais informações sobre como configurar a inferência sob demanda, consulteConfigurar a inferência para um modelo personalizado.

Enviar seu trabalho

Console

  1. Faça login no Console de gerenciamento da AWS com uma identidade do IAM que tenha permissões para usar o console Amazon Bedrock. Em seguida, abra o console Amazon Bedrock em https://console.aws.amazon.com/bedrock.

  2. No painel de navegação à esquerda, escolha Modelos personalizados em Ajustar.

  3. Escolha Criar trabalho de destilação.

  4. Em Detalhes do modelo destilado, faça o seguinte:

    1. Em Nome do modelo destilado, insira um nome para o modelo destilado.

    2. (Opcional) Em Criptografia de modelos, marque a caixa de seleção se quiser fornecer uma chave do KMS para criptografar a tarefa e os artefatos relacionados.

      Para obter mais informações, consulte Criptografia de modelos personalizados.

    3. (Opcional) Aplique tags ao modelo destilado.

  5. Em Configuração adicional, faça o seguinte:

    1. Em Nome do trabalho, insira um nome para o seu trabalho.

    2. (Opcional) Em Criptografia de modelos, marque a caixa de seleção se quiser fornecer uma chave do KMS para criptografar a tarefa e os artefatos relacionados.

      Para obter mais informações, consulte Criptografia de modelos personalizados.

    3. (Opcional) Aplique tags à ao seu trabalho.

  6. Em Modelo professor – Detalhes do modelo aluno, escolha os modelos instrutor e aprendiz para criar seu modelo destilado.

    Para obter mais informações, consulte Pré-requisitos para destilação de modelos.

  7. Em geração de dados sintéticos, faça o seguinte:

    1. Em Comprimento máximo da resposta, especifique o tamanho máximo das respostas sintéticas geradas pelo modelo instrutor.

    2. Em Conjunto de dados de entrada de destilação, escolha uma das seguintes opções:

      • Fazer upload diretamente no local do S3: especifique o local do S3 em que você está armazenando o conjunto de dados de entrada (prompts) que será usado para destilação. Para obter mais informações, consulte Opção 1: fornecer seus próprios prompts para a preparação de dados.

      • Fornecer acesso a logs de invocação: especifique o local do S3 em que você está armazenando os logs de invocação com o conjunto de dados de entrada (prompts) que será usado para destilação. Para obter mais informações, consulte Opção 2: usar logs de invocação para preparação de dados.

        • (Opcional) Em Solicitar filtros de metadados, especifique filtros se quiser que o Amazon Bedrock use apenas determinados prompts em seus logs para destilação.

        • Escolha Ler prompts ou Ler pares de prompts e respostas, dependendo do que você deseja que o Amazon Bedrock acesse em seus logs. Lembre-se de que as respostas são lidas somente se o modelo instrutor corresponder ao modelo em seus logs.

  8. Em saída da destilação, especifique o local do S3 onde você deseja fazer upload das métricas e dos relatórios sobre o trabalho de destilação.

    Para obter mais informações, consulte Analisar os resultados de um trabalho de personalização de modelo.

  9. Em configurações da VPC, escolha uma configuração de VPC para acessar o bucket do S3 que contém seus dados de treinamento.

    Para obter mais informações, consulte (Opcional) Proteger trabalhos de personalização de modelos usando uma VPC.

  10. Em Acesso ao serviço, especifique o perfil do IAM para acessar o bucket do S3 com seus dados de treinamento. A menos que você use configurações de VPC ou um perfil de inferência entre regiões, você pode criar um perfil no console do Amazon Bedrock com as permissões corretas configuradas automaticamente. Ou você pode usar um perfil de serviço existente.

    Para um trabalho que tenha configurações da Amazon VPC ou use um perfil de inferência entre regiões, você deve criar outro perfil de serviço no IAM que tenha as permissões necessárias.

    Para obter mais informações, consulte Criar um perfil de serviço do IAM para a personalização de modelo.

  11. Escolha Criar trabalho de destilação para iniciar o trabalho de destilação. Depois de personalizar um modelo, você pode configurar a inferência para o modelo. Para obter mais informações, consulte Configurar a inferência para um modelo personalizado.

API

No mínimo, você deve fornecer os campos a seguir para enviar seu trabalho de destilação de modelos ao usar a API do Amazon Bedrock.

Campo Description
baseModelIdentifier O identificador do modelo aprendiz.
customModelName O nome do novo modelo destilado.
jobName O nome do trabalho de destilação de modelos.
roleArn Perfil que dá ao Amazon Bedrock permissões para ler arquivos de treinamento e validação e gravar no caminho de saída.
trainingDataConfig O caminho do Amazon S3 que tem seus dados de treinamento.
outputDataConfig O caminho do Amazon S3 que contém suas métricas de treinamento e validação.
distillationConfig Entradas necessárias para o trabalho de destilação.
customModelKmsKeyId Para criptografar o modelo personalizado.
clientRequestToken Token para evitar que a solicitação seja concluída mais de uma vez.

Os seguintes campos são opcionais:

Campo Description
customizationType Definido como DISTILLATION padrão para trabalhos de destilação.
validationDataConfig Lista de dados de validação de caminhos do Amazon S3.
jobTags Para associar tags ao trabalho.
customModelTags Para associar tags ao modelo personalizado resultante.
vpcConfig VPC para proteger seus dados de treinamento e seu trabalho de destilação.

Para evitar que a solicitação seja concluída mais de uma vez, inclua um clientRequestToken.

É possível incluir os campos opcionais a seguir para configurações adicionais.

Veja a seguir um exemplo de trecho da CreateModelCustomizationJobAPI. Este exemplo usa os pares de prompt-resposta no log de invocação como fonte de dados de entrada e especifica o filtro para selecionar pares de prompt-resposta. 

"trainingDataConfig": {
    "invocationLogsConfig": {
        "usePromptResponse": true,
        "invocationLogSource": {
            "s3Uri": "string"
        },
        "requestMetadataFilters": {
            "equals": {
                "priority": "High"
            }
        }
    }
}

Resposta

A resposta exibe um jobArn dos trabalhos de destilação de modelos.

Próximas etapas