本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# 评估和比较 Amazon SageMaker JumpStart 文本分类模型
<a name="jumpstart-text-classification-evaluation"></a>

SageMaker AI JumpStart 提供了多种文本分类模型，可将文本归类为预定义的类别。这些模型可处理情绪分析、主题分类和内容审核等任务。在为生产环境选择合适的模型时，需要结合关键指标进行审慎评估，这些指标包括准确率、F1 分数和马修斯相关系数（MCC）。

在本指南中，您将：
+ 部署 JumpStart 目录中的多个文本分类模型（DistilBert 和 BERT）。
+ 在均衡数据集、偏斜数据集和高难度数据集上开展全面评估。
+ 解释高级指标，包括马修斯相关系数（MCC）和受试者工作特征曲线下面积分数。
+ 使用系统比较框架，做出基于数据的模型选择决策。
+ 使用自动缩放和 CloudWatch 监控功能设置生产部署。

下载完整的评估框架：[JumpStart 模型评估Packag](samples/sagemaker-text-classification-evaluation-2.zip) e。**该软件包包括预运行结果与示例输出**，这使得您可以在自行部署模型之前预览评估过程和指标。

## 先决条件
<a name="w2aac37c15c11"></a>

开始之前，请确保您拥有：
+ [AWS 具有 SageMaker AI 权限的账户](https://docs.aws.amazon.com/sagemaker/latest/dg/gs-set-up.html)。
+ [SageMaker AI Amazon SageMaker Studio 访问权限](https://docs.aws.amazon.com/sagemaker/latest/dg/onboard-quick-start.html)
+ 基础 Python 知识。
+ 了解文本分类概念。

时间和成本：总时长 45 分钟。费用因实例类型和使用时长而异-有关当前费率，请参阅 [SageMaker AI 定价](https://aws.amazon.com/sagemaker/pricing/)。

本教程包含 step-by-step清理说明，可帮助您移除所有资源并避免持续收费。

**Topics**
+ [先决条件](#w2aac37c15c11)
+ [设置您的评估环境](jumpstart-text-classification-setup.md)
+ [选择和部署文本分类模型](jumpstart-text-classification-deploy.md)
+ [评估和比较模型性能](jumpstart-text-classification-evaluate.md)
+ [解释您的结果](jumpstart-text-classification-interpret.md)
+ [大规模部署模型](jumpstart-text-classification-scale.md)