Amazon SageMaker 合作伙伴 AI 应用程序概述
借助 Amazon SageMaker 合作伙伴 AI 应用程序，用户可以访问由行业领先的应用程序提供商构建、发布和分发的生成式人工智能和机器学习（ML）开发应用程序。合作伙伴 AI 应用程序已通过认证，可在 SageMaker AI 上运行。借助合作伙伴 AI 应用程序，用户不仅可以加快其构建基于基础模型（FM）和传统机器学习模型的解决方案的速度，而且能够构建更出色的解决方案，同时不会损害敏感数据的安全性。数据会完全保留在用户信任的安全配置范围内，并且绝不会与第三方共享。
工作方式
合作伙伴 AI 应用程序是完整的应用程序栈，包含一个 Amazon Elastic Kubernetes Service 集群，以及一系列配套服务，其中可能包括应用程序负载均衡器、Amazon Relational Database Service、Amazon Simple Storage Service 存储桶、Amazon Simple Queue Service 队列和 Redis 缓存。
这些服务应用程序可在 SageMaker AI 域中的所有用户之间共享，并由管理员进行预调配。在通过 AWS Marketplace 购买订阅来预调配应用程序后，管理员可以授予 SageMaker AI 域中的用户直接从 Amazon SageMaker Studio、Amazon SageMaker 融通式合作开发工作室（预览版）或使用预签名 URL 访问合作伙伴 AI 应用程序的权限。有关从 Studio 中启动应用程序的信息，请参阅启动 Amazon SageMaker Studio。
合作伙伴 AI 应用程序为管理员和用户提供了以下优势。
-
管理员可使用 SageMaker AI 控制台浏览、发现、选择和预调配合作伙伴 AI 应用程序，以供其数据科学团队和机器学习团队使用。在部署合作伙伴 AI 应用程序后，SageMaker AI 将在服务托管的 AWS 账户上运行它们。这极大地降低了与构建和操作这些应用程序相关的运营开销，并有助于保障客户数据的安全性和隐私性。
-
数据科学家和机器学习开发人员可以在 Amazon SageMaker Studio 或 Amazon SageMaker 融通式合作开发工作室（预览版）的机器学习开发环境中访问合作伙伴 AI 应用程序。他们可以使用合作伙伴 AI 应用程序来分析他们在 SageMaker AI 上创建的数据、实验和模型。这最大限度地减少了上下文切换，有助于加快构建基础模型，并将新的生成式人工智能功能推向市场。
与 AWS 服务 集成
合作伙伴 AI 应用程序使用现有的 AWS Identity and Access Management（IAM）配置进行授权和身份验证。因此，用户无需提供单独的凭证即可从 Amazon SageMaker Studio 访问每个合作伙伴 AI 应用程序。有关使用合作伙伴 AI 应用程序进行授权和身份验证的更多信息，请参阅设置合作伙伴 AI 应用程序。
合作伙伴 AI 应用程序还与 Amazon CloudWatch 集成，以提供运营监控和管理功能。客户还可以在 AWS 管理控制台中浏览合作伙伴 AI 应用程序，并获取其相关详细信息，例如功能、客户体验和定价。有关 Amazon CloudWatch 的信息，请参阅 Amazon CloudWatch 的工作方式。
支持的类型
合作伙伴 AI 应用程序支持以下类型：
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
当管理员启动合作伙伴 AI 应用程序时，他们必须选择用于启动合作伙伴 AI 应用程序的实例集群的配置。此配置被称为合作伙伴 AI 应用程序的层级。合作伙伴 AI 应用程序的层级可以是下列值之一：
-
small -
medium -
large
以下各部分提供了有关每种合作伙伴 AI 应用程序类型的信息，以及有关合作伙伴 AI 应用程序层级值的详细信息。
Comet 提供面向 AI 开发人员的端到端模型评测平台，其中包括 LLM 评估、实验跟踪和生产监控功能。
根据工作负载，我们建议使用以下合作伙伴 AI 应用程序层级：
-
small– 建议用于具有最多 5 个用户和 20 个正在运行的作业的场景。 -
medium– 建议用于具有最多 50 个用户和 100 个正在运行的作业的场景。 -
large– 建议用于具有最多 500 个用户和 100 多个正在运行的作业的场景。
注意
SageMaker AI 不支持在 Jupyter Notebook 输出中查看 Comet 用户界面。
AI 应用程序开发人员和利益相关者可借助 Deepchecks，在基于 LLM 的应用程序从部署前准备、内部试验到投产的整个生命周期内，对其各项特性、性能指标以及潜在风险进行持续验证。
根据工作负载所需的速度，我们建议使用以下合作伙伴 AI 应用程序层级：
-
small– 每秒处理 200 个令牌。 -
medium– 每秒处理 500 个令牌。 -
large– 每秒处理 1300 个令牌。
Fiddler AI 可观测性平台有助于验证、监控和分析生产中的机器学习模型，包括表格、深度学习、计算机视觉和自然语言处理模型。
根据工作负载所需的速度，我们建议使用以下合作伙伴 AI 应用程序层级：
-
small– 处理跨 5 个模型、100 项功能和 20 次迭代的 1000 万个事件，大约需要 53 分钟。 -
medium– 处理跨 5 个模型、100 项功能和 20 次迭代的 1000 万个事件，大约需要 23 分钟。 -
large– 处理跨 5 个模型、100 项功能和 100 次迭代的 1000 万个事件，大约需要 27 分钟。
Lakera Guard 是一款低延迟 AI 应用程序防火墙，可保护生成式人工智能应用程序免受特定于生成式人工智能的威胁。
根据工作负载，我们建议使用以下合作伙伴 AI 应用程序层级：
-
small– 建议用于具有最多 20 个机器人流程自动化（RPA）的场景。 -
medium– 建议用于具有最多 100 个 RPA 的场景。 -
large– 建议用于具有最多 200 个 RPA 的场景。
