As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

(Versão prévia) Importação dos vetores do Amazon S3 para o servidor sem servidor OpenSearch

O Amazon S3 Vectors oferece o primeiro armazenamento de objetos na nuvem com suporte nativo para armazenar e consultar vetores. O S3 Vectors fornece armazenamento vetorial econômico, elástico e durável que pode ser consultado com base no significado semântico e na similaridade. Ele oferece tempos de resposta de consulta em menos de um segundo e custos até 90% mais baixos para carregar, armazenar e consultar vetores.

O Amazon S3 Vectors apresenta buckets vetoriais do S3, que você pode usar para armazenar, acessar e consultar dados vetoriais sem provisionar nenhuma infraestrutura. Dentro de um repositório vetorial, você pode organizar seus dados vetoriais em índices vetoriais. Seu intervalo de vetores pode ter vários índices vetoriais, e cada índice vetorial pode conter milhões de vetores. Para obter mais informações, consulte Como trabalhar com vetores e buckets vetoriais do Amazon S3 no Guia do usuário do Amazon S3.

Cada vetor consiste em:

Os índices vetoriais oferecem suporte às funções de distância euclidiana e cosseno para operações de busca por similaridade.

Para obter mais informações sobre buckets vetoriais do Amazon S3, incluindo como criar um, consulte Como trabalhar com vetores e buckets vetoriais do Amazon S3 no Guia do usuário do Amazon S3. Para obter mais informações sobre a integração com o OpenSearch Service além do descrito neste tópico, consulte Usando vetores do S3 com o Service OpenSearch

Você pode usar o S3 Vectors com o Amazon OpenSearch Service para reduzir o custo do armazenamento vetorial quando as consultas são menos frequentes e, em seguida, mover rapidamente esses conjuntos de dados à medida que as demandas aumentam ou para OpenSearch aprimorar os recursos de pesquisa.

OpenSearch O serviço se integra aos vetores do Amazon S3 para fornecer desempenho e funcionalidade aprimorados, além do que os buckets vetoriais do Amazon S3 oferecem sozinhos. Considere essa integração quando precisar:

Essa integração é particularmente útil quando vários aplicativos consomem os mesmos dados vetoriais com requisitos de desempenho diferentes. Você pode fazer com que alguns aplicativos interajam diretamente com os buckets vetoriais do Amazon S3 para casos de uso econômicos, enquanto outros aproveitam a OpenSearch integração para operações de desempenho crítico.

Arquitetura de integração

A integração usa o Amazon OpenSearch Ingestion (OSI) como o pipeline de dados entre os índices vetoriais do Amazon S3 e as coleções vetoriais do Amazon OpenSearch Serverless. OpenSearch A ingestão exporta automaticamente os dados vetoriais do seu índice vetorial especificado e os ingere em coleções vetoriais OpenSearch sem servidor para operações de pesquisa de alto desempenho.

Cada índice vetorial é mapeado para um índice correspondente na coleção OpenSearch Service. A integração:

Após a configuração, o OpenSearch Inestion inicia o processo de exportação de dados consumindo vetores do índice vetorial especificado usando a API do Amazon ListVectors S3. O serviço processa vetores em paralelo para otimizar a velocidade de ingestão, respeitando os limites de escalabilidade do Ingestion e do Amazon Serverless OpenSearch . OpenSearch

Durante a ingestão, o serviço:

A integração lida com grandes conjuntos de dados de forma eficiente, com desempenho dependendo das dimensões vetoriais, do tamanho do conjunto de dados e dos limites de escalabilidade configurados. O OSI pode escalar até 16 trabalhadores por pipeline, enquanto o OpenSearch Serverless ajusta automaticamente a capacidade com base nas demandas de ingestão. Por padrão, OpenSearch aumenta a Unidade maxSearch OpenSearch Computacional (OCU) no lado OpenSearch sem servidor para 100.

Permissões obrigatórias do IAM

A integração exige uma configuração cuidadosa das permissões do IAM para permitir a comunicação segura entre os serviços. OpenSearch A ingestão precisa de permissões para ler os índices vetoriais do Amazon S3, gravar OpenSearch nas coleções de vetores do Service e gerenciar as políticas de segurança associadas.

Ao habilitar a integração usando o procedimento mais adiante neste tópico, você pode escolher uma das seguintes opções para o gerenciamento de permissões:

A função criada automaticamente inclui políticas para:

Se você optar por especificar uma função existente, verifique se a função tem as seguintes permissões do IAM:

(Obrigatório): permissões de pipeline de dados entre OpenSearch Ingestion e OpenSearch Serverless

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "allowAPIs",
            "Effect": "Allow",
            "Action": [ "aoss:APIAccessAll", "aoss:BatchGetCollection" ],
            "Resource": [ "arn:aws:aoss:*:account-id:collection/collection-id" ]
        },
        {
            "Sid": "allowSecurityPolicy",
            "Effect": "Allow",
            "Action": [
                "aoss:CreateSecurityPolicy",
                "aoss:UpdateSecurityPolicy",
                "aoss:GetSecurityPolicy"
            ],
            "Resource": "*",
            "Condition":{
               "StringLike":{
                  "aoss:collection": [ "collection-name" ]
                },
               "StringEquals": {
                  "aws:ResourceAccount": [ "account-id" ]
               }
            }
        }
    ]
}

(Obrigatório): Permissões de ingestão de dados entre a OpenSearch ingestão e a fila de mensagens mortas do Amazon S3

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "s3Access",
            "Effect": "Allow",
            "Action": [
              "s3:PutObject"
            ],
            "Resource": [ "arn:aws:s3:::bucket/*" ]
        }
    ]
}

(Obrigatório): Permissões de ingestão de dados entre a OpenSearch ingestão e os vetores do Amazon S3

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowS3VectorIndexAccess",
            "Effect": "Allow",
            "Action": [
               "s3vectors:ListVectors",
               "s3vectors:GetVectors"
            ],
            "Resource": [
                "arn:aws:s3vectors:region:account-id:bucket/bucket-name/index/index-name"
            ]
        }
    ]
}

(Obrigatório se a AWS KMS criptografia estiver habilitada): Permissões de decodificação para comunicação entre a OpenSearch ingestão e os vetores do Amazon S3

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "allowS3VectorDecryptionOfCustomManagedKey",
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt"
            ],
            "Resource": [ "arn:aws:kms:region:account-id:key/key-id" ],
            "Condition": {
                "StringEquals": {
                    "kms:ViaService": "s3vectors.region.amazonaws.com",
                    "kms:EncryptionContext:aws:s3vectors:arn": "arn:aws:s3vectors:region:account-id:bucket/bucket-name"
                 }
             }
        }
    ]
}

Configurando a integração do Amazon S3 Vectors com OpenSearch

Use o procedimento a seguir para configurar a integração do Amazon S3 Vectors com o Serverless. OpenSearch

Após a ingestão bem-sucedida, o OSI interrompe automaticamente o pipeline para evitar custos desnecessários e, ao mesmo tempo, manter os dados exportados. OpenSearch Você pode monitorar o progresso da integração por meio de CloudWatch métricas e acessar registros detalhados para solucionar problemas.

A OpenSearch coleção permanece ativa e disponível para consultas após a conclusão da ingestão inicial. Você pode executar: