Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Capacidades de búsqueda avanzada con un motor vectorial Amazon S3

Amazon OpenSearch Service ofrece la posibilidad de utilizar Amazon S3 como motor vectorial para índices vectoriales. Esta característica le permite descargar datos vectoriales a Amazon S3 y, al mismo tiempo, mantener las capacidades de búsqueda vectorial en menos de un segundo a un bajo costo.

Con esta función, OpenSearch almacena las incrustaciones vectoriales en un índice vectorial de Amazon S3 y, al mismo tiempo, mantiene otros campos del documento en el almacenamiento del OpenSearch clúster. Este método ofrece las siguientes ventajas:

OpenSearch tiene los siguientes requisitos para usar índices vectoriales de S3:

Activación de S3 Vectors

Al crear un dominio nuevo o actualizar un dominio existente, puede elegir la opción Habilitar S3 Vectors como motor en la sección Características avanzadas. Esta configuración permite OpenSearch crear un depósito vectorial de S3 al utilizar S3 Vectors como motor. Al habilitar esta opción, OpenSearch configura S3 Vectors para su dominio de la siguiente manera:

Creación de índices con el motor vectorial de S3

Después de configurar un dominio, puede crear uno o más índices k-NN con campos, con el uso de s3vector como motor vectorial de backend en las asignaciones de índices. Puede configurar diferentes campos vectoriales con diferentes tipos de motores en función de su caso de uso.

Estos son algunos ejemplos que crean índices de motores vectoriales de S3.

Ejemplo: creación de un índice k-NN con el motor vectorial de S3

PUT my-first-s3vector-index
{
  "settings": {
    "index": {
      "knn": true
    }
  },
  "mappings": {
    "properties": {
        "my_vector_1": {
          "type": "knn_vector",
          "dimension": 2,
          "space_type": "l2",
          "method": {
            "engine": "s3vector"
          }
        },
        "price": {
          "type": "float"
        }
    }
  }
}

Ejemplo: creación de un índice k-NN con motores vectoriales de S3 y FAISS

Este ejemplo destaca el hecho de que se pueden utilizar varios motores vectoriales dentro del mismo índice.

PUT my-vector-index
{
  "settings": {
    "index": {
      "knn": true
    }
  },
  "mappings": {
    "properties": {
        "my_vector_1": {
          "type": "knn_vector",
          "dimension": 2,
          "space_type": "l2",
          "method": {
            "engine": "s3vector"
          }
        },
        "price": {
          "type": "float"
        },
        "my_vector_2": {
            "type": "knn_vector",
            "dimension": 2,
            "space_type": "cosine",
            "method": {
                "name": "hnsw",
                "engine": "faiss",
                "parameters": {
                    "ef_construction": 128,
                    "m": 24
                }
            }
        }
    }
  }
}

Ejemplo no compatible: agregar el motor vectorial de S3 tras la creación del índice

El siguiente enfoque no es compatible y fallará.

PUT my-first-s3vector-index
{
  "settings": {
    "index": {
      "knn": true
    }
  }
}

PUT my-first-s3vector-index/_mapping
{
  "properties": {
        "my_vector_1": {
          "type": "knn_vector",
          "dimension": 2,
          "space_type": "l2",
          "method": {
            "engine": "s3vector"
          }
        },
        "price": {
          "type": "float"
        }
    }
}

Limitaciones de funcionalidad

Tenga en cuenta las siguientes limitaciones antes de utilizar el motor s3vector en un índice:

Indexación de documentos

Tras crear un índice con el motor vectorial S3, puede ingerir documentos mediante la _bulk API estándar. OpenSearch transfiere automáticamente los datos vectoriales de los knn_vector campos que utilizan el s3vector motor al índice vectorial S3 en tiempo real. Los datos que pertenezcan a otros campos o a knn_vector campos que utilicen diferentes motores se conservarán OpenSearch en su propia capa de almacenamiento.

Para todas las solicitudes masivas que se confirmen, OpenSearch garantiza que todos los datos (vectoriales y no vectoriales) sean duraderos. Si una solicitud recibe un acuse de recibo negativo, no se garantiza la durabilidad de los documentos incluidos en esa solicitud masiva. Deberías volver a intentar realizar dichas solicitudes, preferiblemente después de eliminar la solicitud anterior fallida utilizando el identificador del documento para evitar la duplicación de documentos en estos raros casos.

Ejemplo de indexación masiva

POST _bulk
{ "index": { "_index": "my-first-s3vector-index", "_id": "1" } }
{ "my_vector_1": [1.5, 2.5], "price": 12.2 }
{ "index": { "_index": "my-first-s3vector-index", "_id": "2" } }
{ "my_vector_1": [2.5, 3.5], "price": 7.1 }
{ "index": { "_index": "my-first-s3vector-index", "_id": "3" } }
{ "my_vector_1": [3.5, 4.5], "price": 12.9 }
{ "index": { "_index": "my-first-s3vector-index", "_id": "4" } }
{ "my_vector_1": [5.5, 6.5], "price": 1.2 }
{ "index": { "_index": "my-first-s3vector-index", "_id": "5" } }
{ "my_vector_1": [4.5, 5.5], "price": 3.7 }

Buscar documentos

Puede buscar en su índice mediante la API _search estándar para ejecutar consultas de texto, k-NN o híbridas. En el caso de consultas en knn_vector campos configurados con el s3vector motor, transfiere OpenSearch automáticamente la consulta al índice de vectores S3 correspondiente.

Ejemplo de consulta de búsqueda

GET my-first-s3vector-index/_search
{
  "size": 2,
  "query": {
    "knn": {
      "my_vector_1": {
        "vector": [2.5, 3.5],
        "k": 2
      }
    }
  }
}

Puede ejecutar una búsqueda vectorial filtrada en el índice OpenSearch kNN utilizando el motor s3vector. OpenSearch aplica el filtro como filtro posterior y utiliza un mecanismo de sobremuestreo basado en ciertas heurísticas para equilibrar la recuperación con la latencia.

Ejemplo de consulta de búsqueda con filtro:

GET my-index/_search
{
  "size": 10,
  "query": {
    "knn": {
      "my_vector_field": {
        "vector": [2.5, 3.5, 1.2, 4.8],
        "k": 10,
        "filter": {
          "range": {
            "price": {
              "gte": 10,
              "lte": 100
            }
          }
        }
      }
    }
  }
}

Parámetros de asignación compatibles

Con el motor s3vector, el campo knn_vector admite los siguientes parámetros en las asignaciones.

Facturación y medición

Para obtener información sobre la medición y la facturación de esta función, consulta los precios de Amazon OpenSearch Service.

Deshabilitación del motor s3vector

Antes de deshabilitar el motor s3vector, elimine todos los índices que lo utilizan actualmente. Si no lo hace, cualquier intento de deshabilitar el motor fallará.

Tenga en cuenta también que al habilitar o deshabilitar el motor s3vector se desencadena una implementación azul/verde en su dominio.

Para deshabilitar el motor s3vector, edite la configuración de su dominio y configure S3VectorsEngine.Enabled: false.