As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

# Conceitos básicos
<a name="model-customize-evaluation-getting-started"></a>

## Envie um Job de avaliação por meio do SageMaker Studio
<a name="model-customize-evaluation-studio"></a>

### Etapa 1: Navegue até a avaliação a partir do seu cartão modelo
<a name="model-customize-evaluation-studio-step1"></a>

Depois de personalizar seu modelo, navegue até a página de avaliação a partir do cartão do modelo.

Para obter informações sobre treinamento em modelos personalizados de peso aberto: [https://docs.aws.amazon.com/sagemaker/latest/dg/model- .html customize-open-weight-job](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html)

SageMaker visualiza seu modelo personalizado na guia Meus modelos:

![\[Página do cartão de modelo registrado\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/images/getting-started-registered-model-card.png)


Escolha Exibir versão mais recente e, em seguida, escolha Avaliar:

![\[Página de personalização do modelo\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/images/getting-started-evaluate-from-model-card.png)


### Etapa 2: Envie seu trabalho de avaliação
<a name="model-customize-evaluation-studio-step2"></a>

Escolha o botão Enviar e envie seu trabalho de avaliação. Isso envia um trabalho mínimo de benchmark de MMLU.

Para obter informações sobre os tipos de trabalho de avaliação suportados, consulte[Tipos de avaliação e envio de trabalhos](model-customize-evaluation-types.md).

![\[Página de envio de trabalhos de avaliação\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/images/getting-started-benchmark-submission.png)


### Etapa 3: Acompanhe o progresso do seu trabalho de avaliação
<a name="model-customize-evaluation-studio-step3"></a>

O progresso do seu trabalho de avaliação é monitorado na guia Etapas de avaliação:

![\[Seu progresso no trabalho de avaliação\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/images/getting-started-benchmark-tracking.png)


### Etapa 4: Veja os resultados do seu trabalho de avaliação
<a name="model-customize-evaluation-studio-step4"></a>

Os resultados do seu trabalho de avaliação são visualizados na guia Resultados da avaliação:

![\[Suas métricas de avaliação do trabalho\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/images/getting-started-benchmark-results.png)


### Etapa 5: veja suas avaliações concluídas
<a name="model-customize-evaluation-studio-step5"></a>

Seu trabalho de avaliação concluído é exibido em Avaliações do seu cartão modelo:

![\[Seus trabalhos de avaliação concluídos\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/images/getting-started-benchmark-completed-model-card.png)


## Envie seu trabalho de avaliação por meio do SageMaker Python SDK
<a name="model-customize-evaluation-sdk"></a>

### Etapa 1: Crie seu BenchMarkEvaluator
<a name="model-customize-evaluation-sdk-step1"></a>

Passe seu modelo treinado registrado, o local de saída do AWS S3 e o ARN do MLFlow recurso e, em seguida, `BenchMarkEvaluator` inicialize-o.

```
from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark  
  
evaluator = BenchMarkEvaluator(  
    benchmark=Benchmark.MMLU,  
    model="arn:aws:sagemaker:<region>:<account-id>:model-package/<model-package-name>/<version>",  
    s3_output_path="s3://<bucket-name>/<prefix>/eval/",  
    mlflow_resource_arn="arn:aws:sagemaker:<region>:<account-id>:mlflow-tracking-server/<tracking-server-name>",  
    evaluate_base_model=False  
)
```

### Etapa 2: Envie seu trabalho de avaliação
<a name="model-customize-evaluation-sdk-step2"></a>

Chame o `evaluate()` método para enviar o trabalho de avaliação.

```
execution = evaluator.evaluate()
```

### Etapa 3: Acompanhe o progresso do seu trabalho de avaliação
<a name="model-customize-evaluation-sdk-step3"></a>

Chame o `wait()` método de execução para obter uma atualização ao vivo do progresso do trabalho de avaliação.

```
execution.wait(target_status="Succeeded", poll=5, timeout=3600)
```

### Etapa 4: Veja os resultados do seu trabalho de avaliação
<a name="model-customize-evaluation-sdk-step4"></a>

Chame o `show_results()` método para exibir os resultados do seu trabalho de avaliação.

```
execution.show_results()
```