As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

# Avaliar e comparar o desempenho do modelo
<a name="jumpstart-text-classification-evaluate"></a>

Avalie seus modelos de classificação de texto implantados usando o framework de avaliação. O framework permite o uso dos modos de avaliação supervisionada e não supervisionada por meio de uma abordagem baseada em caderno.

## Usar conjuntos de dados integrados
<a name="w2aac37c15c23b5"></a>

**Recomendamos usar o conjunto de dados de avaliação supervisionado integrado** para este tutorial, pois a maioria dos usuários não tem dados de avaliação rotulados prontamente disponíveis. Os conjuntos de dados integrados fornecem uma análise abrangente de desempenho em diferentes cenários:
+ **Conjuntos de dados balanceados**: distribuição de classes iguais para desempenho básico.
+ **Conjuntos de dados distorcidos**: classes desequilibradas para testes em situações reais.
+ **Conjuntos de dados desafiadores**: casos extremos para testar a robustez do modelo.

A avaliação gera métricas importantes, como exatidão, precisão, recall, pontuação F1, coeficiente de correlação de Matthews (MCC) e pontuações de área sob a curva característica de operação do receptor com curvas visuais para comparação de modelos.

## Usar dados personalizados
<a name="w2aac37c15c23b7"></a>

Se você tiver seu próprio conjunto de dados rotulados, poderá substituí-lo no caderno. O framework se adapta automaticamente ao seu formato de dados e gera as mesmas métricas abrangentes.

**Formatos de dados compatíveis:**
+ **Formato CSV:** duas colunas: `text` e `label`.
+ **Formatos de rótulo:** “positive”/“negative”, “LABEL\_0”/“LABEL\_1”, “True”/“False” ou “0”/“1”.
+ **Não supervisionado:** coluna de `text` única para análise de confiança.

## Configurar o ambiente de avaliação
<a name="w2aac37c15c23b9"></a>

Crie um JupyterLab espaço no SageMaker Amazon SageMaker Studio para executar o caderno de avaliação.

1. No Studio, **JupyterLab**escolha na tela inicial.

1. Se você não tiver um espaço:

   1. Selecione **Criar espaço**.

   1. Insira um nome descritivo (por exemplo, **TextModelEvaluation)**.

   1. Mantenha o tipo de instância padrão.

   1. Escolha **Executar espaço**.

   1. Quando o espaço tiver sido criado, escolha **Abrir JupyterLab**.

### Acessar o caderno de avaliação
<a name="w2aac37c15c23b9b7"></a>

Baixe o [arquivo zip](samples/sagemaker-text-classification-evaluation-2.zip) e descompacte-o em sua máquina local. Carregue toda a pasta extraída em seu JupyterLab espaço para começar a testar seus modelos. O pacote contém o caderno de avaliação principal, conjuntos de dados de amostra, módulos Python de suporte e instruções detalhadas para o framework de avaliação completo.

**nota**  
Depois de extrair o pacote, analise o arquivo README para obter instruções detalhadas de configuração e uma visão geral do framework.

Continue em [Interpretar seus resultados](jumpstart-text-classification-interpret.md) para aprender a analisar o resultado da avaliação e tomar decisões de seleção de modelos orientadas por dados.