(Versión preliminar) Importación desde Amazon S3 Vectors a OpenSearch sin servidor

Amazon S3 Vectors ofrece el primer almacén de objetos en la nube con compatibilidad nativa para almacenar y consultar vectores. S3 Vectors proporciona un almacenamiento vectorial rentable, elástico y duradero que se puede consultar en función del significado y la similitud semánticos. Ofrece tiempos de respuesta a las consultas inferiores a un segundo y reduce los costos de carga, almacenamiento y consulta de vectores hasta un 90 %.

Amazon S3 Vectors presenta buckets vectoriales S3, que puede utilizar para almacenar y consultar datos vectoriales, así como acceder a ellos, sin aprovisionar ninguna infraestructura. En un bucket vectorial, puede organizar los datos vectoriales en índices vectoriales. Su bucket vectorial puede tener varios índices vectoriales y cada índice vectorial puede contener millones de vectores. Para obtener más información, consulte Cómo trabajar con Amazon S3 Vectors y buckets de vectores en la Guía del usuario de Amazon S3.

Cada vector se compone de los siguientes elementos:

Los índices vectoriales admiten las funciones de distancia euclidiana y cosenoidal para las operaciones de búsqueda de similitudes.

Para obtener más información sobre los buckets de Amazon S3 Vectors, incluido cómo crear uno, consulte Uso de vectores y buckets de Amazon S3 Vectors en la Guía del usuario de Amazon S3. Para obtener más información sobre la integración con OpenSearch Service además de lo que se describe en este tema, consulte Uso de vectores de S3 con OpenSearch Service

Puede usar S3 Vectors con Amazon OpenSearch Service para reducir el costo del almacenamiento vectorial cuando las consultas son menos frecuentes y, después, mover rápidamente esos conjuntos de datos a OpenSearch a medida que aumente la demanda o para mejorar las capacidades de búsqueda.

OpenSearch Service se integra con Amazon S3 Vectors para ofrecer un rendimiento y una funcionalidad mejorados que van más allá de lo que ofrecen los buckets Amazon S3 Vectors por sí solos. Considere esta integración cuando necesite:

Esta integración es particularmente útil cuando varias aplicaciones consumen los mismos datos de vectores con diferentes requisitos de rendimiento. Puede hacer que algunas aplicaciones interactúen directamente con los buckets de Amazon S3 Vectors para casos de uso sensibles a los costos, mientras que otras aprovechan la integración de OpenSearch para operaciones de rendimiento crítico.

Arquitecturas de integración

La integración utiliza Amazon OpenSearch Ingestion (OSI) como canalización de datos entre los índices vectoriales de Amazon S3 y las colecciones vectoriales de Amazon OpenSearch sin servidor. OpenSearch Ingestion exporta automáticamente los datos vectoriales del índice vectorial especificado y los ingiere en las colecciones vectoriales de OpenSearch sin servidor para realizar operaciones de búsqueda de alto rendimiento.

Cada índice vectorial se asigna a un índice correspondiente de la colección de OpenSearch Service. En la integración:

Tras la configuración, OpenSearch Ingestion comienza el proceso de exportación de datos consumiendo los vectores del índice vectorial especificado mediante la API ListVectors de Amazon S3. El servicio procesa los vectores en paralelo para optimizar la velocidad de ingesta y, al mismo tiempo, respeta los límites de escalado de OpenSearch Ingestion y Amazon OpenSearch sin servidor.

Durante la ingesta, el servicio hace lo siguiente:

La integración gestiona conjuntos de datos masivos de manera eficiente y el rendimiento depende de las dimensiones de vectores, el tamaño del conjunto de datos y los límites de escalado configurados. OSI puede escalar verticalmente hasta 16 trabajadores por canalización, mientras que OpenSearch sin servidor ajusta automáticamente la capacidad en función de las demandas de ingesta. De forma predeterminada, OpenSearch aumenta a 100 la unidad computacional (OCU) maxSearch en OpenSearch sin servidor.

Permisos de IAM necesarios

La integración requiere una configuración cuidadosa de los permisos de IAM para permitir una comunicación segura entre los servicios. OpenSearch Ingestion necesita permisos para leer los índices vectoriales de Amazon S3, escribir en las colecciones vectoriales de OpenSearch Service y administrar las políticas de seguridad asociadas.

Al habilitar la integración mediante el procedimiento que se describe más adelante en este tema, puede elegir una de las siguientes opciones para la administración de permisos:

El rol creado automáticamente incluye políticas para:

Si decide especificar un rol existente, compruebe que dicho rol tenga los siguientes permisos de IAM:

(Obligatorio): permisos de canalización de datos entre OpenSearch Ingestion y OpenSearch sin servidor

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "allowAPIs",
            "Effect": "Allow",
            "Action": [ "aoss:APIAccessAll", "aoss:BatchGetCollection" ],
            "Resource": [ "arn:aws:aoss:*:111122223333:collection/collection-id" ]
        },
        {
            "Sid": "allowSecurityPolicy",
            "Effect": "Allow",
            "Action": [
                "aoss:CreateSecurityPolicy",
                "aoss:UpdateSecurityPolicy",
                "aoss:GetSecurityPolicy"
            ],
            "Resource": "*",
            "Condition":{
               "StringLike":{
                  "aoss:collection": [ "collection-name" ]
                },
               "StringEquals": {
                  "aws:ResourceAccount": [ "111122223333" ]
               }
            }
        }
    ]
}

(Obligatorio): permisos de ingesta de datos entre OpenSearch Ingestion y Amazon S3 (cola de mensajes fallidos)

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "s3Access",
            "Effect": "Allow",
            "Action": [
              "s3:PutObject"
            ],
            "Resource": [ "arn:aws:s3:::bucket/*" ]
        }
    ]
}

(Obligatorio): permisos de ingesta de datos entre OpenSearch Ingestion y Amazon S3 Vectors

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "AllowS3VectorIndexAccess",
            "Effect": "Allow",
            "Action": [
               "s3vectors:ListVectors",
               "s3vectors:GetVectors"
            ],
            "Resource": [
                "arn:aws:s3vectors:us-east-1:111122223333:bucket/bucket-name/index/index-name"
            ]
        }
    ]
}

(Obligatorio si el cifrado AWS KMS está activado): permisos de descifrado para la comunicación entre OpenSearch Ingestion y Amazon S3 Vectors

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "allowS3VectorDecryptionOfCustomManagedKey",
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt"
            ],
            "Resource": [ "arn:aws:kms:us-east-1:111122223333:key/key-id" ],
            "Condition": {
                "StringEquals": {
                    "kms:ViaService": "s3vectors.us-east-1.amazonaws.com",
                    "kms:EncryptionContext:aws:s3vectors:arn": "arn:aws:s3vectors:us-east-1:111122223333:bucket/example-bucket"
                 }
             }
        }
    ]
}

Configuración de la integración de Amazon S3 Vectors con OpenSearch

Utilice el siguiente procedimiento para configurar la integración de Amazon S3 Vectors con OpenSearch sin servidor.

Tras una ingesta correcta, OSI detiene automáticamente la canalización para evitar costos innecesarios y, al mismo tiempo, mantener los datos exportados en OpenSearch. Puede supervisar el progreso de la integración mediante las métricas de CloudWatch y acceder a registros detallados para solucionar problemas.

La colección OpenSearch permanece activa y disponible para consultas una vez completada la ingesta inicial. Puede realizar: