(Versão prévia) Importar do Amazon S3 Vectors para o OpenSearch sem Servidor

O Amazon S3 Vectors fornece o primeiro armazenamento de objetos em nuvem com compatibilidade nativa com armazenamento e consulta de vetores. O S3 Vectors fornece armazenamento vetorial econômico, elástico e durável que pode ser consultado com base em significado semântico e similaridade. Ele oferece tempos de resposta a consulta de menos de um segundo e custos até 90% mais baixos para carregar, armazenar e consultar vetores.

O Amazon S3 Vectors introduz buckets vetoriais do S3, que você pode usar para armazenar, acessar e consultar dados vetoriais sem provisionar nenhuma infraestrutura. Dentro de um bucket vetorial, você pode organizar os dados vetoriais dentro de índice vetoriais. O bucket vetorial pode ter vários índices vetoriais, e cada índice pode conter milhões de vetores. Para obter mais informações, consulte Trabalhar com o Amazon S3 Vectors e buckets de vetores no Guia do usuário do Amazon S3.

Cada vetor consiste em:

Os índices vetoriais são compatíveis com as funções de distância euclidiana e cosseno para operações de pesquisa de similaridade.

Para obter mais informações sobre os buckets do Amazon S3 Vectors, consulte Trabalhar com o S3 Vectors e buckets de vetores no Guia do usuário do Amazon S3. Para obter mais informações sobre a integração com o OpenSearch Service além do que está descrito neste tópico, consulte Usar o S3 Vectors com o OpenSearch Service

Você pode usar o S3 Vectors com o Amazon OpenSearch Service para reduzir o custo do armazenamento vetorial quando as consultas são menos frequentes e, em seguida, mover rapidamente esses conjuntos de dados para o OpenSearch à medida que as demandas aumentam ou para aprimorar os recursos de pesquisa.

O OpenSearch Service se integra ao Amazon S3 Vectors para fornecer melhor performance e funcionalidade, além do que os buckets vetoriais do Amazon S3 já oferecem sozinhos. Considere essa integração quando precisar de:

Essa integração é particularmente útil quando várias aplicações consomem os mesmos dados vetoriais com requisitos de performance diferentes. Você pode ter alguns aplicações que interajam diretamente com os buckets vetoriais do Amazon S3 para casos de uso sensíveis ao custo, enquanto outras utilizam a integração do OpenSearch para operações em que performance é essencial.

Arquiteturas de integração

A integração usa o Amazon OpenSearch Ingestion (OSI) como o pipeline de dados entre os índice vetoriais do Amazon S3 e as coleções vetoriais do Amazon OpenSearch sem Servidor. O OpenSearch Ingestion exporta automaticamente os dados vetoriais do índice vetorial especificado e os ingere nas coleções vetoriais do OpenSearch sem Servidor para operações de pesquisa de alta performance.

Cada índice vetorial é mapeado para um índice correspondente na coleção do OpenSearch Service. A integração:

Após a configuração, o OpenSearch Ingestion inicia o processo de exportação de dados consumindo vetores do índice vetorial especificado usando a API ListVectors do Amazon S3. O serviço processa vetores em paralelo para otimizar a velocidade de ingestão, respeitando os limites de escalabilidade do OpenSearch Ingestion e do Amazon OpenSearch sem Servidor.

Durante a ingestão, o serviço:

A integração lida com grandes conjuntos de dados de forma eficiente, sendo que a performance depende das dimensões vetoriais, do tamanho do conjunto de dados e dos limites de escalabilidade configurados. O OSI pode aumentar a escala verticalmente até 16 trabalhadores por pipeline, enquanto o OpenSearch sem Servidor ajusta automaticamente a capacidade com base nas demandas de ingestão. Por padrão, o OpenSearch aumenta as unidades de computação do OpenSearch (OCU) de maxSearch no lado OpenSearch sem Servidor para 100.

Permissões obrigatórias do IAM

A integração exige uma configuração cuidadosa das permissões do IAM para habilitar a comunicação segura entre os serviços. O OpenSearch Ingestion precisa de permissões para ler os índice vetoriais do Amazon S3, gravar nas coleções vetoriais do OpenSearch Service e gerenciar as políticas de segurança associadas.

Ao habilitar a integração usando o procedimento apresentado posteriormente neste tópico, você pode escolher uma das seguintes opções para gerenciamento de permissões:

O perfil criado automaticamente inclui políticas para:

Se você optar por especificar um perfil existente, verifique se ele tem as seguintes permissões do IAM:

(Obrigatório): permissões de pipeline de dados entre o OpenSearch Ingestion e o OpenSearch sem Servidor

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "allowAPIs",
            "Effect": "Allow",
            "Action": [ "aoss:APIAccessAll", "aoss:BatchGetCollection" ],
            "Resource": [ "arn:aws:aoss:*:111122223333:collection/collection-id" ]
        },
        {
            "Sid": "allowSecurityPolicy",
            "Effect": "Allow",
            "Action": [
                "aoss:CreateSecurityPolicy",
                "aoss:UpdateSecurityPolicy",
                "aoss:GetSecurityPolicy"
            ],
            "Resource": "*",
            "Condition":{
               "StringLike":{
                  "aoss:collection": [ "collection-name" ]
                },
               "StringEquals": {
                  "aws:ResourceAccount": [ "111122223333" ]
               }
            }
        }
    ]
}

(Obrigatório): permissões de ingestão de dados entre o OpenSearch Ingestion e a fila de mensagens não entregues do Amazon S3

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "s3Access",
            "Effect": "Allow",
            "Action": [
              "s3:PutObject"
            ],
            "Resource": [ "arn:aws:s3:::bucket/*" ]
        }
    ]
}

(Obrigatório): permissões de ingestão de dados entre o OpenSearch Ingestion e o Amazon S3 Vectors

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "AllowS3VectorIndexAccess",
            "Effect": "Allow",
            "Action": [
               "s3vectors:ListVectors",
               "s3vectors:GetVectors"
            ],
            "Resource": [
                "arn:aws:s3vectors:us-east-1:111122223333:bucket/bucket-name/index/index-name"
            ]
        }
    ]
}

(Obrigatório se a criptografia do AWS KMS estiver habilitada): permissões de decodificação para comunicação entre o OpenSearch Inestion e os Amazon S3 Vectors

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "allowS3VectorDecryptionOfCustomManagedKey",
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt"
            ],
            "Resource": [ "arn:aws:kms:us-east-1:111122223333:key/key-id" ],
            "Condition": {
                "StringEquals": {
                    "kms:ViaService": "s3vectors.us-east-1.amazonaws.com",
                    "kms:EncryptionContext:aws:s3vectors:arn": "arn:aws:s3vectors:us-east-1:111122223333:bucket/example-bucket"
                 }
             }
        }
    ]
}

Configurar a integração do Amazon S3 Vectors com o OpenSearch

Use o procedimento a seguir para configurar a integração do Amazon S3 Vectors com o OpenSearch sem Servidor.

Após a ingestão bem-sucedida, o OSI interrompe automaticamente o pipeline para evitar custos desnecessários e, ao mesmo tempo, mantém os dados exportados no OpenSearch. Você pode monitorar o progresso da integração por meio das métricas do CloudWatch e acessar registros detalhados para solucionar problemas.

A coleção do OpenSearch permanece ativa e disponível para consultas após a conclusão da ingestão inicial. Você pode realizar: