Analisar os resultados de um trabalho de personalização de modelo - Amazon Bedrock

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Analisar os resultados de um trabalho de personalização de modelo

Quando o trabalho de personalização do modelo for concluído, você poderá analisar os resultados do processo de personalização. Os artefatos a seguir são enviados para o bucket do S3 que você especifica ao criar seu trabalho de personalização de modelo:

O Amazon Bedrock armazena seus modelos personalizados em armazenamento AWS gerenciado com escopo específico para você. Conta da AWS

Também é possível avaliar o modelo executando um trabalho de avaliação de modelo. Para obter mais informações, consulte Avalie o desempenho dos recursos do Amazon Bedrock.

O exemplo a seguir mostra onde você pode refinar as métricas de treinamento e validação em um bucket do S3:

- model-customization-job-training-job-id/
    - training_artifacts/
        - step_wise_training_metrics.csv
    - validation_artifacts/
        - post_fine_tuning_validation/
            - validation_metrics.csv

Use os arquivos step_wise_training_metrics.csv e validation_metrics.csv para analisar o trabalho de personalização do modelo e ajudar a ajustar o modelo conforme necessário.

As colunas no arquivo step_wise_training_metrics.csv são as seguintes:

  • step_number— A etapa do processo de treinamento. Começa a partir de 0.

  • epoch_number— A época no processo de treinamento.

  • training_loss— Indica o quão bem o modelo se ajusta aos dados de treinamento. Um valor mais baixo indica um ajuste melhor.

  • perplexity— Indica o quão bem o modelo pode prever uma sequência de tokens. Um valor mais baixo indica uma capacidade preditiva melhor.

As colunas no arquivo validation_metrics.csv são iguais às do arquivo de treinamento, exceto que a validation_loss (quão bem o modelo se ajusta aos dados de validação) aparece no lugar de training_loss.

Você pode encontrar os arquivos de saída abrindo o https://console.aws.amazon.com/s3 diretamente ou encontrando o link para a pasta de saída nos detalhes do seu modelo. Escolha a guia do seu método preferido e siga as etapas:

Console

  1. Faça login no AWS Management Console com uma identidade do IAM que tenha permissões para usar o console Amazon Bedrock. Em seguida, abra o console Amazon Bedrock em https://console.aws.amazon.com/bedrock/.

  2. No painel de navegação à esquerda, escolha Modelos personalizados em Modelos de base.

  3. Na guia Modelos, selecione um modelo para visualizar seus detalhes. O Nome do trabalho pode ser descoberto na seção Detalhes do modelo.

  4. Para visualizar os arquivos de saída do S3, selecione a Localização do S3 na seção Dados de saída.

  5. Encontre os arquivos de métricas de treinamento e de validação na pasta cujo nome corresponde ao Nome do trabalho do modelo.

API

Para listar informações sobre todos os seus modelos personalizados, envie uma solicitação ListCustomModels(consulte o link para ver os formatos de solicitação e resposta e detalhes do campo) com um endpoint do plano de controle Amazon Bedrock. Consulte ListCustomModelsos filtros que você pode usar.

Para listar todas as tags de um modelo personalizado, envie uma ListTagsForResourcesolicitação com um endpoint do plano de controle Amazon Bedrock e inclua o Amazon Resource Name (ARN) do modelo personalizado.

Para monitorar o status de um trabalho de personalização de modelo, envie uma solicitação GetCustomModel(consulte o link para formatos de solicitação e resposta e detalhes do campo) com um endpoint do plano de controle Amazon Bedrock com omodelIdentifier, que é um dos seguintes.

  • O nome que você forneceu ao modelo.

  • O ARN do modelo.

Você pode ver trainingMetrics e validationMetrics ver um trabalho de personalização de modelo na GetCustomModelresposta GetModelCustomizationJobou.

Para baixar os arquivos de métricas de treinamento e de validação, siga as etapas em Baixar objetos. Use o URI do S3 que forneceu na outputDataConfig.

Consulte exemplos de código