Avaliação de modelo automática

Você pode criar uma avaliação de modelo automática no Studio ou usando a biblioteca fmeval dentro do seu próprio código. O Studio usa um assistente para criar o trabalho de avaliação de modelo. A biblioteca fmeval fornece ferramentas para personalizar ainda mais seu fluxo de trabalho.

Ambos os tipos de trabalhos de avaliação automática de modelos são compatíveis com o uso de modelos do JumpStart disponíveis publicamente e modelos do JumpStart que você implantou anteriormente em um endpoint. Se você usar um JumpStart que não tenha sido implantado anteriormente, o SageMaker AI criará o recurso necessário e o encerrará quando o trabalho de avaliação do modelo for concluído.

Para usar LLMs baseados em texto de outro serviço AWS ou modelo hospedado fora da AWS, você deve usar a biblioteca fmeval.

Quando seus trabalhos são concluídos, os resultados são salvos no bucket do Amazon S3 especificado quando o trabalho foi criado. Para saber como interpretar seus resultados, consulte Entenda os resultados do trabalho de avaliação de modelo.