用于 AWS CloudFormation 为语义搜索设置远程推理 - 亚马逊 OpenSearch 服务

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

用于 AWS CloudFormation 为语义搜索设置远程推理

从 2.9 OpenSearch 版开始,您可以使用带有语义搜索的远程推理来托管自己的机器学习 (ML) 模型。远程推理使用 ML 共享资源插件

借助远程推理,您可以在 Amazon A SageMaker I 和 Amazon Bedrock 等机器学习服务上远程托管模型推理,并使用机器学习连接器将它们连接到亚马逊 OpenSearch 服务。

为了简化远程推理的设置,Amazon S OpenSearch ervice 在控制台中提供了一个AWS CloudFormation模板。 CloudFormation 是您可以通过将基础设施视为代码来配置 AWS 和管理第三方资源 AWS 服务 的地方。

该 OpenSearch CloudFormation 模板可自动执行模型配置过程,因此您可以轻松地在 OpenSearch 服务域中创建模型,然后使用模型 ID 来摄取数据并运行神经搜索查询。

在 Serv OpenSearch ice 2.12 及更高版本中使用神经稀疏编码器时,我们建议您在本地使用分词器模型,而不是远程部署。有关更多信息,请参阅 OpenSearch 文档中的稀疏编码模型

可用 AWS CloudFormation 模板

以下 AWS CloudFormation 机器学习 (ML) 模板可供使用:

Amazon Bedrock 模板
Amazon Titan 文本嵌入集成

连接到 Amazon Bedrock 的托管机器学习模型,无需单独部署模型,并使用预先确定的亚马逊 Bedrock 终端节点。有关更多信息,请参阅《亚马逊 B edrock 用户指南》中的 Ama zon Titan 文本嵌入

Cohere 嵌入集成

提供对 Cohere Embed 模型的访问,并针对特定的文本处理工作流程进行了优化。有关更多信息,请参阅 Cohere 文档网站上的 “嵌入”。

Amazon Titan 多模态嵌入式

支持文本和图像嵌入,并支持多模式搜索功能。有关更多信息,请参阅《亚马逊 Bed rock 用户指南》中的 Ama zon Titan 多模态嵌入式

MCP 服务器集成模板
MCP 服务器集成

部署 A mazon Bedrock AgentCore 运行时,提供代理终端节点,处理入站和出站身份验证,并 OAuth 支持企业身份验证。

亚马逊 SageMaker 模板
通过 Amazon 与文本嵌入模型集成 SageMaker

在 Amazon SageMaker Runtime 中部署文本嵌入模型,为模型项目访问创建 IAM 角色,并建立用于语义搜索的机器学习连接器。

通过以下方式与稀疏编码器集成 SageMaker

为神经搜索设置稀疏编码模型,创建用于连接器管理的 AWS Lambda 函数,并返回模型 IDs 以供立即使用。

先决条件

要在 S OpenSearch ervice 中使用 CloudFormation 模板,请完成以下先决条件。

设置 OpenSearch 服务域

在使用 CloudFormation 模板之前,您必须设置一个版本 2.9 或更高版本的 Amazon Serv OpenSearch ice 域并启用精细访问控制。创建 OpenSearch 服务后端角色以授予 ML Commons 插件为您创建连接器的权限。

该 CloudFormation 模板使用默认名称为您创建一个 Lambda IAM 角色LambdaInvokeOpenSearchMLCommonsRole,如果您想选择其他名称,则可以覆盖该名称。模板创建此 IAM 角色后,您需要授予 Lambda 函数调用您的 OpenSearch 服务域的权限。为此,请按照以下步骤ml_full_access将名为的角色映射到您的 OpenSearch 服务后端角色:

  1. 导航到您的 OpenSearch 服务域的 OpenSearch 仪表板插件。您可以在 OpenSearch 服务控制台的域控制面板上找到控制面板终端节点。

  2. 从主菜单中选择安全角色,然后选择 ml_full_access 角色。

  3. 选择映射的用户管理映射

  4. 后端角色下,添加需要权限才能调用您的域名的 Lambda 角色的 ARN。

    arn:aws:iam::account-id:role/role-name
  5. 选择映射并确认在映射的用户下显示的用户或角色。

映射角色后,导航到您的域的安全配置,然后将 Lambda IAM 角色添加到您的 OpenSearch 服务访问策略中。

启用您的 AWS 账户权限

您 AWS 账户 必须拥有访问 CloudFormation 和 Lambda 的权限,以及 AWS 服务 您为模板选择的任何内容(无论是 Runtime 还是 Amazon Bedroc SageMaker k)。

如果您使用的是 Amazon Bedrock,则还必须注册您的模型。要注册您的模型,请参阅 Amazon BedRock 用户指南中的模型访问权限

如果您使用自己的 Amazon S3 存储桶来提供模型项目,则必须将 CloudFormation IAM 角色添加到您的 S3 访问策略中。有关更多信息,请参阅《 IAM 用户指南》中的添加和删​​除 IAM 身份权限