Avaliação e comparação dos modelos de classificação de SageMaker JumpStart texto da Amazon - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Avaliação e comparação dos modelos de classificação de SageMaker JumpStart texto da Amazon

SageMaker JumpStart A IA oferece vários modelos de classificação de texto que categorizam o texto em classes predefinidas. Esses modelos lidam com tarefas como análise de sentimentos, classificação de tópicos e moderação de conteúdo. A escolha do modelo certo para produção requer uma avaliação cuidadosa usando métricas importantes, como precisão, pontuação F1 e coeficiente de correlação de Matthews (MCC).

Neste guia, você:

  • Implemente vários modelos de classificação de texto (DistilBERT e BERT) do JumpStart catálogo.

  • Executa avaliações abrangentes em conjuntos de dados equilibrados, distorcidos e desafiadores.

  • Interpreta métricas avançadas, como o coeficiente de correlação de Matthews (MCC) e as pontuações de área sob a curva característica de operação do receptor.

  • Tome decisões de seleção de modelos orientadas por dados usando frameworks de comparação sistemática.

  • Configure implantações de produção com CloudWatch auto-scaling e monitoramento.

Baixe a estrutura de avaliação completa: JumpStart Model Evaluation Package. O pacote inclui resultados executados previamente com exemplos de saída para que você possa visualizar o processo de avaliação e as métricas antes de implantar os modelos por conta própria.

Pré-requisitos

Antes de começar, verifique se você tem o seguinte:

Tempo e custo: 45 minutos de tempo total. Os custos variam com base nos tipos de instância e na duração do uso. Consulte os preços da SageMaker AI para ver as taxas atuais.

Este tutorial inclui instruções de step-by-step limpeza para ajudar você a remover todos os recursos e evitar cobranças contínuas.