View a markdown version of this page

Utilización CloudFormation para configurar la inferencia remota para la búsqueda semántica - OpenSearch Servicio Amazon

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Utilización CloudFormation para configurar la inferencia remota para la búsqueda semántica

A partir de OpenSearch la versión 2.9, puede utilizar la inferencia remota con la búsqueda semántica para alojar sus propios modelos de aprendizaje automático (ML). La inferencia remota utiliza el complemento ML Commons.

Con la inferencia remota, puede alojar las inferencias de sus modelos de forma remota en servicios de aprendizaje automático, como Amazon SageMaker AI y Amazon Bedrock, y conectarlos a Amazon OpenSearch Service mediante conectores de aprendizaje automático.

Para facilitar la configuración de la inferencia remota, Amazon OpenSearch Service proporciona una AWS CloudFormation plantilla en la consola. CloudFormation es un Servicio de AWS lugar en el que puede aprovisionar AWS y administrar recursos de terceros tratando la infraestructura como código.

La OpenSearch CloudFormation plantilla automatiza el proceso de aprovisionamiento del modelo para que puedas crear fácilmente un modelo en tu dominio de OpenSearch servicio y, a continuación, usar el ID del modelo para ingerir datos y ejecutar consultas de búsqueda neuronal.

Cuando utilices codificadores neuronales dispersos con la versión 2.12 del OpenSearch Servicio y versiones posteriores, te recomendamos que utilices el modelo de tokenizador de forma local en lugar de implementarlo de forma remota. Para obtener más información, consulta los modelos de codificación dispersa en la documentación. OpenSearch

Disponible CloudFormation plantillas

Están disponibles para su uso las siguientes plantillas de aprendizaje AWS CloudFormation automático (ML):

Plantillas de Amazon Bedrock
Integración de Amazon Titan Text Embeddings

Se conecta a los modelos de ML alojados de Amazon Bedrock, elimina la necesidad de implementar modelos independientes y utiliza puntos de conexión de Amazon Bedrock predeterminados. Para obtener más información, consulte Amazon Titan Text Embeddings en la Guía del usuario de Amazon Bedrock.

Integración Cohere Embed

Proporciona acceso a los modelos Cohere Embed y está optimizado para flujos de trabajo específicos de procesamiento de texto. Para obtener más información, consulte Embed en el sitio web de documentos de Cohere.

Amazon Titan Multimodal Embeddings

Admite la incrustación de texto e imágenes y permite funciones de búsqueda multimodal. Para obtener más información, consulte Amazon Titan Multimodal Embeddings en la Guía del usuario de Amazon Bedrock.

Plantillas de integración de servidores MCP
Integración de servidores MCP

Implementa un Amazon Bedrock AgentCore Runtime, proporciona un punto final de agente, gestiona la autenticación entrante y saliente y es compatible con OAuth para la autenticación empresarial.

Plantillas de Amazon SageMaker
Integración con modelos de incrustación de texto a través de Amazon SageMaker

Implementa modelos de incrustación de texto en Amazon SageMaker Runtime, crea funciones de IAM para el acceso a los artefactos modelo y establece conectores de aprendizaje automático para la búsqueda semántica.

Integración con Sparse Encoders mediante SageMaker

Configura modelos de codificación dispersos para la búsqueda neuronal, crea funciones AWS Lambda para la administración de conectores y devuelve los ID de los modelos para su uso inmediato.

Requisitos previos

Para usar una CloudFormation plantilla con OpenSearch Service, complete los siguientes requisitos previos.

Configure un dominio de OpenSearch servicio

Antes de poder usar una CloudFormation plantilla, debes configurar un dominio de Amazon OpenSearch Service con la versión 2.9 o posterior y habilitar un control de acceso detallado. Crea un rol OpenSearch de backend de servicio para dar permiso al plugin ML Commons para crear tu conector por ti.

La CloudFormation plantilla crea un rol de IAM de Lambda para ti con el nombre predeterminadoLambdaInvokeOpenSearchMLCommonsRole, que puedes anular si quieres elegir otro nombre. Una vez que la plantilla cree este rol de IAM, debe conceder permiso a la función de Lambda para que llame a su dominio de servicio. OpenSearch Para hacerlo, asigna el rol con nombre ml_full_access a tu rol de backend OpenSearch de servicio con los siguientes pasos:

  1. Navega hasta el complemento OpenSearch Dashboards de tu dominio de OpenSearch servicio. Puedes encontrar el punto final de los paneles en el panel de control de tu dominio, en la consola de OpenSearch servicio.

  2. En el menú principal, seleccione Seguridad, Roles y seleccione el rol ml_full_access.

  3. Seleccione Usuarios asignados, Administrar mapeo.

  4. En Roles de backend, agregue el ARN del rol de Lambda que necesita permiso para llamar a su dominio.

    arn:aws:iam::account-id:role/role-name
  5. Seleccione Asignar y confirme que el usuario o el rol aparecen en Usuarios asignados.

Después de asignar el rol, navegue hasta la configuración de seguridad de su dominio y añada el rol de Lambda IAM a su OpenSearch política de acceso al servicio.

Habilite los permisos en su Cuenta de AWS

Cuenta de AWS Debe tener permiso para acceder CloudFormation a Lambda, junto con el permiso que Servicio de AWS elija para su plantilla, ya sea SageMaker Runtime o Amazon Bedrock.

Si utiliza Amazon Bedrock, también debe registrar su modelo. Consulte Acceso al modelo en la Guía del usuario de Amazon Bedrock para registrar su modelo.

Si utiliza su propio bucket de Amazon S3 para proporcionar artefactos de modelo, debe añadir la función de CloudFormation IAM a su política de acceso a S3. Para obtener más información, consulta Adición y eliminación de permisos de identidad de IAM en la Guía del usuario de IAM.

Inferencia remota para plantillas de resaltado semántico

El resaltado semántico es una característica de búsqueda avanzada que mejora la relevancia de los resultados al analizar el significado y el contexto de las consultas en lugar de basarse únicamente en las coincidencias exactas de las palabras clave. Esta función utiliza modelos de machine learning para evaluar la similitud semántica entre las consultas de búsqueda y el contenido del documento, identificando y resaltando las frases o pasajes más relevantes desde el punto de vista contextual de los documentos. A diferencia de los métodos de resaltado tradicionales, que se centran en las coincidencias exactas de los términos, el resaltado semántico aprovecha los modelos de IA para evaluar cada oración utilizando información contextual tanto de la consulta como del texto circundante, lo que le permite mostrar información pertinente incluso cuando los términos de búsqueda exactos no estén presentes en los pasajes resaltados. Este enfoque es especialmente útil para las implementaciones de AI-driven búsqueda en las que los usuarios dan prioridad al significado semántico por encima de la coincidencia literal de palabras, lo que permite a los administradores de búsqueda ofrecer experiencias de búsqueda más inteligentes y sensibles al contexto, que destacan los intervalos de contenido significativos y no solo las palabras clave que aparecen. Para obtener más información, consulte Uso del resaltado semántico.

Utilice el siguiente procedimiento para abrir y ejecutar una CloudFormation plantilla que configure automáticamente los modelos de Amazon para el resaltado semántico. SageMaker

Para usar la plantilla de resaltado semántico CloudFormation
  1. Abre la consola de Amazon OpenSearch Service en https://console.aws.amazon.com/aos/home.

  2. En el panel de navegación izquierdo, seleccione Integraciones.

  3. En Habilitar el resaltado semántico mediante SageMaker la integración con Amazon, elige Configurar dominio, Configurar dominio público.

  4. Siga la petición para configurar el modelo.

nota

OpenSearch El servicio también proporciona una plantilla independiente para configurar el dominio de la VPC. Si usa esta plantilla, debe proporcionar el ID de VPC para la función de Lambda.