评估和比较 Amazon SageMaker JumpStart 文本分类模型 - 亚马逊 SageMaker AI

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

评估和比较 Amazon SageMaker JumpStart 文本分类模型

SageMaker AI JumpStart 提供了多种文本分类模型,可将文本归类为预定义的类别。这些模型可处理情绪分析、主题分类和内容审核等任务。在为生产环境选择合适的模型时,需要结合关键指标进行审慎评估,这些指标包括准确率、F1 分数和马修斯相关系数(MCC)。

在本指南中,您将:

  • 从 JumpStart 目录中部署多个文本分类模型(DistilBert 和 BERT)。

  • 在均衡数据集、偏斜数据集和高难度数据集上开展全面评估。

  • 解释高级指标,包括马修斯相关系数(MCC)和受试者工作特征曲线下面积分数。

  • 使用系统比较框架,做出基于数据的模型选择决策。

  • 使用自动缩放和 CloudWatch 监控功能设置生产部署。

下载完整的评估框架:JumpStart 模型评估Packag e。该软件包包括预运行结果与示例输出,这使得您可以在自行部署模型之前预览评估过程和指标。

先决条件

开始之前,请确保您拥有:

时间和成本:总时长 45 分钟。费用因实例类型和使用时长而异-有关当前费率,请参阅 SageMaker AI 定价

本教程包含 step-by-step清理说明,可帮助您移除所有资源并避免持续收费。