As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Avaliar e comparar o desempenho do modelo
Avalie seus modelos de classificação de texto implantados usando o framework de avaliação. O framework permite o uso dos modos de avaliação supervisionada e não supervisionada por meio de uma abordagem baseada em caderno.
Usar conjuntos de dados integrados
Recomendamos usar o conjunto de dados de avaliação supervisionado integrado para este tutorial, pois a maioria dos usuários não tem dados de avaliação rotulados prontamente disponíveis. Os conjuntos de dados integrados fornecem uma análise abrangente de desempenho em diferentes cenários:
Conjuntos de dados balanceados: distribuição de classes iguais para desempenho básico.
Conjuntos de dados distorcidos: classes desequilibradas para testes em situações reais.
Conjuntos de dados desafiadores: casos extremos para testar a robustez do modelo.
A avaliação gera métricas importantes, como exatidão, precisão, recall, pontuação F1, coeficiente de correlação de Matthews (MCC) e pontuações de área sob a curva característica de operação do receptor com curvas visuais para comparação de modelos.
Usar dados personalizados
Se você tiver seu próprio conjunto de dados rotulados, poderá substituí-lo no caderno. O framework se adapta automaticamente ao seu formato de dados e gera as mesmas métricas abrangentes.
Formatos de dados compatíveis:
Formato CSV: duas colunas:
textelabel.Formatos de rótulo: “positive”/“negative”, “LABEL_0”/“LABEL_1”, “True”/“False” ou “0”/“1”.
Não supervisionado: coluna de
textúnica para análise de confiança.
Configurar o ambiente de avaliação
Crie um JupyterLab espaço no SageMaker Amazon SageMaker Studio para executar o caderno de avaliação.
-
No Studio, JupyterLabescolha na tela inicial.
-
Se você não tiver um espaço:
-
Selecione Criar espaço.
-
Insira um nome descritivo (por exemplo,
TextModelEvaluation). -
Mantenha o tipo de instância padrão.
-
Escolha Executar espaço.
-
Quando o espaço tiver sido criado, escolha Abrir JupyterLab.
-
Acessar o caderno de avaliação
Baixe o arquivo zip e descompacte-o em sua máquina local. Carregue toda a pasta extraída em seu JupyterLab espaço para começar a testar seus modelos. O pacote contém o caderno de avaliação principal, conjuntos de dados de amostra, módulos Python de suporte e instruções detalhadas para o framework de avaliação completo.
nota
Depois de extrair o pacote, analise o arquivo README para obter instruções detalhadas de configuração e uma visão geral do framework.
Continue em Interpretar seus resultados para aprender a analisar o resultado da avaliação e tomar decisões de seleção de modelos orientadas por dados.
