# 内容领域 2： ML 模型和基础模型 (FM) 开发
<a name="machine-learning-engineer-associate-02-domain2"></a>

**Topics**
+ [任务 2.1： 为 ML 和 AI 解决方案选择合适的建模方法。](#machine-learning-engineer-associate-02-domain2-task1)
+ [任务 2.2： 为 ML 和 AI 解决方案训练、微调和自定义模型。](#machine-learning-engineer-associate-02-domain2-task2)
+ [任务 2.3： 分析并评估 ML 和 AI 系统的性能。](#machine-learning-engineer-associate-02-domain2-task3)

## 任务 2.1： 为 ML 和 AI 解决方案选择合适的建模方法。
<a name="machine-learning-engineer-associate-02-domain2-task1"></a>
+ 技能 2.1.1： 根据任务要求和性能标准，评估并从 Amazon Bedrock 中选择合适的 FM。
+ 技能 2.1.2： 为经过预训练的 FM 确定微调策略，以便满足业务需求。
+ 技能 2.1.3： 比较并选择合适的 ML 模型、生成式人工智能 (GenAI) 模型、算法和解决方案模板，以便满足业务需求（例如，可解释性、领域特定的性能、延迟）。
+ 技能 2.1.4： 评估在自定义解决方案、托管服务、预训练模型与 FM 之间的权衡，以便满足业务需求。
+ 技能 2.1.5： 根据使用案例要求，选择检索增强生成 (RAG) 架构模式。
+ 技能 2.1.6： 评估在 ML 模型的性能、训练时间和成本之间的权衡。
+ 技能 2.1.7： 评估在 AI 模型的性能、延迟和成本之间的权衡。
+ 技能 2.1.8： 应用 AWS 人工智能服务来解决特定业务问题（例如，Amazon Textract、Amazon Rekognition、Amazon Comprehend、Amazon Transcribe）。

## 任务 2.2： 为 ML 和 AI 解决方案训练、微调和自定义模型。
<a name="machine-learning-engineer-associate-02-domain2-task2"></a>
+ 技能 2.2.1： 应用 Amazon SageMaker AI 内置算法和常用 ML 库。
+ 技能 2.2.2： 使用支持的框架配置 SageMaker AI 脚本模式，从而实现简化并提升性能。
+ 技能 2.2.3： 实施超参数优化（例如，SageMaker AI 自动模型优化 [AMT]）。
+ 技能 2.2.4： 实施缩短训练时间的技术（例如，提前停止、分布式训练）。
+ 技能 2.2.5： 防止模型过拟合、欠拟合和灾难性遗忘。
+ 技能 2.2.6： 组合使用多个 ML 模型来提高性能或降低成本。
+ 技能 2.2.7： 调整基本超参数（例如，epoch、步骤、批次大小）。
+ 技能 2.2.8： 为 AI 解决方案应用自定义技术（例如，特定于任务的提示工程、微调）。
+ 技能 2.2.9： 优化检索组件和嵌入模型。

## 任务 2.3： 分析并评估 ML 和 AI 系统的性能。
<a name="machine-learning-engineer-associate-02-domain2-task3"></a>
+ 技能 2.3.1： 执行可重复的实验（例如，使用 SageMaker AI 上的 MLflow、Amazon Bedrock 评估、Amazon Bedrock 提示管理器）。
+ 技能 2.3.2： 创建模型性能基准并实施偏差检测。
+ 技能 2.3.3： 比较影子变体与生产变体的性能。
+ 技能 2.3.4： 解释模型输出。
+ 技能 2.3.5： 调试模型收敛问题。
+ 技能 2.3.6： 对传统 ML 和生成式人工智能模型应用全面的模型评估技术。
+ 技能 2.3.7： 实施集成的人工评估框架（例如，人机协同工作流、文本生成质量评估）。
+ 技能 2.3.8： 应用自然语言处理 (NLP) 评估指标（例如，双语评估替代指标 [BLEU]、面向查全率的摘要评估替代指标 [ROUGE]、BERTScore、语义相似度）。
+ 技能 2.3.9： 执行 AI 评估（例如，模型输出评估、内容质量验证、偏差检测、LLM-as-a-judge 框架）。
+ 技能 2.3.10： 配置 RAG 系统监控，包括检索准确率评估。