Analisar os resultados de um trabalho de personalização de modelo - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Analisar os resultados de um trabalho de personalização de modelo

Após a conclusão do trabalho de personalização, você poderá analisar os resultados do respectivo processo. Os seguintes artefatos são enviados ao bucket do S3 que você especifica ao criar um trabalho de personalização de modelo:

  • Métricas de treinamento e validação: o Amazon Bedrock oferece métricas de treinamento para todos os trabalhos de personalização de modelo. As métricas de validação também estão incluídas em alguns trabalhos de personalização de modelo.

  • Dados sintéticos (somente para destilação de modelos): exemplos de prompts do conjunto de dados sintéticos que o Amazon Bedrock gerou com base no modelo instrutor e usou para ajustar o modelo aprendiz durante o trabalho de destilação. Essas informações podem ajudar você a entender e validar melhor como seu modelo personalizado foi treinado.

  • Insights de prompt (somente para destilação de modelos): um relatório de prompts de entrada que foram aceitos e rejeitados (com a apresentação de um motivo) durante a destilação. Essas informações podem ajudar você a corrigir e refinar os prompts se precisar executar outro trabalho de destilação.

O Amazon Bedrock armazena seus modelos personalizados em armazenamento AWS gerenciado com escopo específico para você. Conta da AWS

Também é possível avaliar o modelo executando um trabalho de avaliação de modelo. Para obter mais informações, consulte Avaliar o desempenho dos recursos do Amazon Bedrock.

O seguinte exemplo mostra onde você pode refinar as métricas de treinamento e validação em um bucket do S3:

- model-customization-job-training-job-id/
    - training_artifacts/
        - step_wise_training_metrics.csv
    - validation_artifacts/
        - post_fine_tuning_validation/
            - validation_metrics.csv

Use os arquivos step_wise_training_metrics.csv e validation_metrics.csv para analisar o trabalho de personalização do modelo e ajudar a ajustar o modelo conforme necessário.

As colunas no arquivo step_wise_training_metrics.csv são as seguintes:

  • step_number: a etapa no processo de treinamento. Começa a partir de 0.

  • epoch_number: a época no processo de treinamento.

  • training_loss: indica quão bem o modelo se ajusta aos dados de treinamento. Um valor mais baixo indica um ajuste melhor.

  • perplexity: indica quão bem o modelo pode prever uma sequência de tokens. Um valor mais baixo indica uma capacidade preditiva melhor.

As colunas no arquivo validation_metrics.csv são iguais às do arquivo de treinamento, exceto que a validation_loss (quão bem o modelo se ajusta aos dados de validação) aparece no lugar de training_loss.

Você pode encontrar os arquivos de saída abrindo o https://console.aws.amazon.com/s3 diretamente ou encontrando o link para a pasta de saída nos detalhes do seu modelo. Escolha a guia correspondente ao método de sua preferência e siga as etapas:

Console

  1. Faça login no Console de gerenciamento da AWS com uma identidade do IAM que tenha permissões para usar o console Amazon Bedrock. Em seguida, abra o console Amazon Bedrock em https://console.aws.amazon.com/bedrock.

  2. No painel de navegação à esquerda, escolha Modelos personalizados em Ajustar.

  3. Na guia Modelos, selecione um modelo para visualizar seus detalhes. O Nome do trabalho pode ser descoberto na seção Detalhes do modelo.

  4. Para visualizar os arquivos de saída do S3, selecione a Localização do S3 na seção Dados de saída.

  5. Encontre os arquivos de métricas de treinamento e de validação na pasta cujo nome corresponde ao Nome do trabalho do modelo.

API

Para listar informações sobre todos os seus modelos personalizados, envie uma solicitação ListCustomModels(consulte o link para ver os formatos de solicitação e resposta e detalhes do campo) com um endpoint do plano de controle Amazon Bedrock. Consulte ListCustomModelsos filtros que você pode usar.

Para listar todas as tags de um modelo personalizado, envie uma ListTagsForResourcesolicitação com um endpoint do plano de controle Amazon Bedrock e inclua o Amazon Resource Name (ARN) do modelo personalizado.

Para monitorar o status de um trabalho de personalização de modelo, envie uma solicitação GetCustomModel(consulte o link para formatos de solicitação e resposta e detalhes do campo) com um endpoint do plano de controle Amazon Bedrock com omodelIdentifier, que é um dos seguintes.

  • O nome que você forneceu ao modelo.

  • O ARN do modelo.

Você pode ver trainingMetrics e validationMetrics ver um trabalho de personalização de modelo na GetCustomModelresposta GetModelCustomizationJobou.

Para baixar os arquivos de métricas de treinamento e de validação, siga as etapas em Baixar objetos. Use o URI do S3 que forneceu na outputDataConfig.

Consulte exemplos de código