Configurar a pesquisa neural e a pesquisa híbrida sem OpenSearch servidor

Pesquisa neural

O Amazon OpenSearch Serverless oferece suporte à funcionalidade de pesquisa neural para operações de pesquisa semântica em seus dados. A pesquisa neural usa modelos de machine learning para entender o significado semântico e o contexto das consultas, fornecendo resultados de pesquisa mais relevantes do que as pesquisas tradicionais baseadas em palavras-chave. Esta seção explica como configurar a Pesquisa Neural no OpenSearch Serverless, incluindo as permissões necessárias, os processadores compatíveis e as principais diferenças em relação à implementação padrão OpenSearch .

Com a Pesquisa Neural, você pode realizar nos dados uma pesquisa semântica que considera o significado semântico para entender a intenção das consultas de pesquisa. Esse recurso conta com os seguintes componentes:

Pesquisa híbrida

Com a pesquisa híbrida, você pode melhorar a relevância da pesquisa combinando recursos de pesquisa semântica e pesquisa de palavras-chave. Para usar a pesquisa híbrida, crie um pipeline de pesquisa que processe os resultados da pesquisa e combine as pontuações dos documentos. Para obter mais informações, consulte Pipelines de pesquisa no site da OpenSearch documentação. Use os seguintes componentes para implementar a pesquisa híbrida:

Consultas neurais e híbridas

Por padrão, OpenSearch calcula as pontuações dos documentos usando o BM25 algoritmo Okapi baseado em palavras-chave, que funciona bem para consultas de pesquisa que contêm palavras-chave. A pesquisa neural fornece novos tipos de consulta para consultas em linguagem natural e a capacidade de combinar pesquisa semântica e por palavra-chave.

"neural": {
  "vector_field": {
    "query_text": "query_text",
    "query_image": "image_binary",
    "model_id": "model_id",
    "k": 100
  }
}
            

Para obter mais informações, consulte Consulta neural no site da OpenSearch documentação.

"hybrid": {
      "queries": [
        array of lexical, neural, or combined queries
      ]
    } 
            

Para obter mais informações, consulte Consulta híbrida no site da OpenSearch documentação.

Para configurar componentes de pesquisa semântica no Amazon OpenSearch Serverless, siga as etapas no tutorial de pesquisa neural no site da OpenSearch documentação. Lembre-se dessas diferenças importantes:

Configurar permissões do

A Pesquisa Neural no OpenSearch Serverless requer as seguintes permissões. Para obter mais informações, consulte Permissões de políticas com suporte.

A seção a seguir descreve as políticas de acesso a dados de coleções necessárias para pesquisa neural. Substitua placeholder values o por suas informações específicas.

[
    {
        "Description": "Create index permission",
        "Rules": [
            {
                "ResourceType": "index",
                "Resource": ["index/collection_name/*"],
                "Permission": [
                  "aoss:CreateIndex", 
                  "aoss:DescribeIndex",
                  "aoss:UpdateIndex",
                  "aoss:DeleteIndex"
                ]
            }
        ],
        "Principal": [
            "arn:aws:iam::account_id:role/role_name"
        ]
    },
    {
        "Description": "Create pipeline permission",
        "Rules": [
            {
                "ResourceType": "collection",
                "Resource": ["collection/collection_name"],
                "Permission": [
                  "aoss:CreateCollectionItems",
                  "aoss:DescribeCollectionItems",
                  "aoss:UpdateCollectionItems",
                  "aoss:DeleteCollectionItems"
                ]
            }
        ],
        "Principal": [
            "arn:aws:iam::account_id:role/role_name"
        ]
    },
    {
        "Description": "Create model permission",
        "Rules": [
            {
                "ResourceType": "model",
                "Resource": ["model/collection_name/*"],
                "Permission": ["aoss:CreateMLResources"]
            }
        ],
        "Principal": [
            "arn:aws:iam::account_id:role/role_name"
        ]
    }
]