As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Conceitos básicos

Envie um Job de avaliação por meio do SageMaker Studio

Etapa 1: Navegue até a avaliação a partir do seu cartão modelo

Depois de personalizar seu modelo, navegue até a página de avaliação a partir do cartão do modelo.

Para obter informações sobre treinamento em modelos personalizados de peso aberto: https://docs.aws.amazon.com/sagemaker/latest/dg/model- .html customize-open-weight-job

SageMaker visualiza seu modelo personalizado na guia Meus modelos:

Escolha Exibir versão mais recente e, em seguida, escolha Avaliar:

Etapa 2: Envie seu trabalho de avaliação

Escolha o botão Enviar e envie seu trabalho de avaliação. Isso envia um trabalho mínimo de benchmark de MMLU.

Para obter informações sobre os tipos de trabalho de avaliação suportados, consulteTipos de avaliação e envio de trabalhos.

Etapa 3: Acompanhe o progresso do seu trabalho de avaliação

O progresso do seu trabalho de avaliação é monitorado na guia Etapas de avaliação:

Etapa 4: Veja os resultados do seu trabalho de avaliação

Os resultados do seu trabalho de avaliação são visualizados na guia Resultados da avaliação:

Etapa 5: veja suas avaliações concluídas

Seu trabalho de avaliação concluído é exibido em Avaliações do seu cartão modelo:

Envie seu trabalho de avaliação por meio do SageMaker Python SDK

Etapa 1: Crie seu BenchMarkEvaluator

Passe seu modelo treinado registrado, o local de saída do AWS S3 e o ARN do MLFlow recurso e, em seguida, BenchMarkEvaluator inicialize-o.

from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark  
  
evaluator = BenchMarkEvaluator(  
    benchmark=Benchmark.MMLU,  
    model="arn:aws:sagemaker:<region>:<account-id>:model-package/<model-package-name>/<version>",  
    s3_output_path="s3://<bucket-name>/<prefix>/eval/",  
    mlflow_resource_arn="arn:aws:sagemaker:<region>:<account-id>:mlflow-tracking-server/<tracking-server-name>",  
    evaluate_base_model=False  
)

Etapa 2: Envie seu trabalho de avaliação

Chame o evaluate() método para enviar o trabalho de avaliação.

execution = evaluator.evaluate()

Etapa 3: Acompanhe o progresso do seu trabalho de avaliação

Chame o wait() método de execução para obter uma atualização ao vivo do progresso do trabalho de avaliação.

execution.wait(target_status="Succeeded", poll=5, timeout=3600)

Etapa 4: Veja os resultados do seu trabalho de avaliação

Chame o show_results() método para exibir os resultados do seu trabalho de avaliação.

execution.show_results()