Configure la búsqueda neuronal y la búsqueda híbrida OpenSearch sin servidor - OpenSearch Servicio Amazon

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configure la búsqueda neuronal y la búsqueda híbrida OpenSearch sin servidor

Búsqueda neuronal

Amazon OpenSearch Serverless admite la funcionalidad de búsqueda neuronal para realizar operaciones de búsqueda semántica en sus datos. La búsqueda neuronal utiliza modelos de aprendizaje automático para comprender el significado semántico y el contexto de sus consultas, lo que proporciona resultados de búsqueda más relevantes que las búsquedas tradicionales basadas en palabras clave. En esta sección, se explica cómo configurar la búsqueda neuronal en OpenSearch Serverless, incluidos los permisos necesarios, los procesadores compatibles y las principales diferencias con respecto a la implementación estándar. OpenSearch

Con la búsqueda neuronal, puede realizar una búsqueda semántica en sus datos, que tiene en cuenta el significado semántico para comprender la intención de sus consultas de búsqueda. Esta capacidad se basa en los siguientes componentes:

  • Procesador de canalización de ingesta e incrustación de texto

  • Consulta neuronal

  • Consulta neuronal dispersa

Con la búsqueda híbrida, puedes mejorar la relevancia de la búsqueda al combinar las funciones de búsqueda semántica y de palabras clave. Para utilizar la búsqueda híbrida, crea una canalización de búsqueda que procese los resultados de la búsqueda y combine las puntuaciones de los documentos. Para obtener más información, consulta las canalizaciones de búsqueda en el sitio web de OpenSearch documentación. Utilice los siguientes componentes para implementar la búsqueda híbrida:

  • Procesador de canalización de búsqueda de normalización

    Técnicas de normalización compatibles
    • min_max

    • l2

    Técnicas de combinación compatibles
    • arithmetic_mean

    • geometric_mean

    • harmonic_mean

    Para obtener más información sobre las técnicas de normalización y combinación, consulte los campos del cuerpo de la solicitud en el sitio web de OpenSearchdocumentación.

  • Consulta híbrida

Consultas neuronales e híbridas

De forma predeterminada, OpenSearch calcula las puntuaciones de los documentos mediante el BM25 algoritmo Okapi basado en palabras clave, que funciona bien para las consultas de búsqueda que contienen palabras clave. La búsqueda neuronal proporciona nuevos tipos de consultas para consultas en lenguaje natural y la capacidad de combinar búsquedas semánticas y por palabra clave.

ejemplo : neural
"neural": { "vector_field": { "query_text": "query_text", "query_image": "image_binary", "model_id": "model_id", "k": 100 } }

Para obtener más información, consulte la consulta neuronal en el sitio web de OpenSearch documentación.

ejemplo : hybrid
"hybrid": { "queries": [ array of lexical, neural, or combined queries ] }

Para obtener más información, consulte la consulta híbrida en el sitio web de OpenSearch documentación.

Para configurar los componentes de búsqueda semántica en Amazon OpenSearch Serverless, siga los pasos del tutorial de Neural Search del sitio web de OpenSearch documentación. Tenga en cuenta estas importantes diferencias:

  • OpenSearch Serverless solo admite modelos remotos. Debe configurar los conectores para los modelos alojados de forma remota. No es necesario implementar ni eliminar modelos remotos. Para obtener más información, consulte Introducción a la búsqueda semántica e híbrida en el sitio web de OpenSearch documentación.

  • Espere hasta 15 segundos de latencia cuando busque en su índice vectorial o busque canalizaciones de búsqueda e ingesta creadas recientemente.

Configuración de los permisos de

La búsqueda neuronal en OpenSearch Serverless requiere los siguientes permisos. Para obtener más información, consulte Permisos de política compatibles.

ejemplo : Política de búsqueda neuronal
JSON
{ "Version":"2012-10-17", "Statement": [ { "Sid": "NeuralSearch", "Effect": "Allow", "Action": [ "aoss:CreateIndex", "aoss:CreateCollection", "aoss:UpdateCollection", "aoss:DeleteIndex", "aoss:DeleteCollection" ], "Resource": "arn:aws:aoss:us-east-1:111122223333:collection/your-collection-name" } ] }
  • aoss: *Index: crea un índice vectorial donde se almacenan las incrustaciones de texto.

  • aoss: * CollectionItems — Crea canales de ingesta y búsqueda.

  • aoss: * MLResource — Crea y registra modelos de incrustación de texto.

  • aoss: APIAccess All: proporciona acceso a las operaciones de OpenSearch APIs búsqueda e ingesta.

A continuación, se describen las políticas de acceso a los datos de recopilación necesarias para la búsqueda neuronal. Sustitúyala por su información específica. placeholder values

ejemplo : Política de acceso a datos
[ { "Description": "Create index permission", "Rules": [ { "ResourceType": "index", "Resource": ["index/collection_name/*"], "Permission": [ "aoss:CreateIndex", "aoss:DescribeIndex", "aoss:UpdateIndex", "aoss:DeleteIndex" ] } ], "Principal": [ "arn:aws:iam::account_id:role/role_name" ] }, { "Description": "Create pipeline permission", "Rules": [ { "ResourceType": "collection", "Resource": ["collection/collection_name"], "Permission": [ "aoss:CreateCollectionItems", "aoss:DescribeCollectionItems", "aoss:UpdateCollectionItems", "aoss:DeleteCollectionItems" ] } ], "Principal": [ "arn:aws:iam::account_id:role/role_name" ] }, { "Description": "Create model permission", "Rules": [ { "ResourceType": "model", "Resource": ["model/collection_name/*"], "Permission": ["aoss:CreateMLResources"] } ], "Principal": [ "arn:aws:iam::account_id:role/role_name" ] } ]