内容领域 2： ML 模型和基础模型 (FM) 开发
任务 2.1： 为 ML 和 AI 解决方案选择合适的建模方法。
技能 2.1.1： 根据任务要求和性能标准，评估并从 Amazon Bedrock 中选择合适的 FM。
技能 2.1.2： 为经过预训练的 FM 确定微调策略，以便满足业务需求。
技能 2.1.3： 比较并选择合适的 ML 模型、生成式人工智能 (GenAI) 模型、算法和解决方案模板，以便满足业务需求（例如，可解释性、领域特定的性能、延迟）。
技能 2.1.4： 评估在自定义解决方案、托管服务、预训练模型与 FM 之间的权衡，以便满足业务需求。
技能 2.1.5： 根据使用案例要求，选择检索增强生成 (RAG) 架构模式。
技能 2.1.6： 评估在 ML 模型的性能、训练时间和成本之间的权衡。
技能 2.1.7： 评估在 AI 模型的性能、延迟和成本之间的权衡。
技能 2.1.8： 应用 AWS 人工智能服务来解决特定业务问题（例如，Amazon Textract、Amazon Rekognition、Amazon Comprehend、Amazon Transcribe）。
任务 2.2： 为 ML 和 AI 解决方案训练、微调和自定义模型。
技能 2.2.1： 应用 Amazon SageMaker AI 内置算法和常用 ML 库。
技能 2.2.2： 使用支持的框架配置 SageMaker AI 脚本模式，从而实现简化并提升性能。
技能 2.2.3： 实施超参数优化（例如，SageMaker AI 自动模型优化 [AMT]）。
技能 2.2.4： 实施缩短训练时间的技术（例如，提前停止、分布式训练）。
技能 2.2.5： 防止模型过拟合、欠拟合和灾难性遗忘。
技能 2.2.6： 组合使用多个 ML 模型来提高性能或降低成本。
技能 2.2.7： 调整基本超参数（例如，epoch、步骤、批次大小）。
技能 2.2.8： 为 AI 解决方案应用自定义技术（例如，特定于任务的提示工程、微调）。
技能 2.2.9： 优化检索组件和嵌入模型。
任务 2.3： 分析并评估 ML 和 AI 系统的性能。
技能 2.3.1： 执行可重复的实验（例如，使用 SageMaker AI 上的 MLflow、Amazon Bedrock 评估、Amazon Bedrock 提示管理器）。
技能 2.3.2： 创建模型性能基准并实施偏差检测。
技能 2.3.3： 比较影子变体与生产变体的性能。
技能 2.3.4： 解释模型输出。
技能 2.3.5： 调试模型收敛问题。
技能 2.3.6： 对传统 ML 和生成式人工智能模型应用全面的模型评估技术。
技能 2.3.7： 实施集成的人工评估框架（例如，人机协同工作流、文本生成质量评估）。
技能 2.3.8： 应用自然语言处理 (NLP) 评估指标（例如，双语评估替代指标 [BLEU]、面向查全率的摘要评估替代指标 [ROUGE]、BERTScore、语义相似度）。
技能 2.3.9： 执行 AI 评估（例如，模型输出评估、内容质量验证、偏差检测、LLM-as-a-judge 框架）。
技能 2.3.10： 配置 RAG 系统监控，包括检索准确率评估。
