(미리 보기) Amazon S3 Vectors에서 OpenSearch Serverless로 가져오기

Amazon S3 Vectors는 벡터 저장 및 쿼리를 기본적으로 지원하는 최초의 클라우드 객체 스토어를 제공합니다. S3 Vectors는 의미와 유사성에 따라 쿼리할 수 있는 비용 효율적이고 탄력적이며 내구성이 뛰어난 벡터 스토리지를 제공합니다. 1초 미만의 쿼리 응답 시간과 최대 90% 절감된 벡터 업로드, 저장 및 쿼리 비용을 제공합니다.

인프라를 프로비저닝하지 않고도 벡터 데이터를 저장, 액세스, 쿼리하는 데 사용할 수 있는 S3 벡터 버킷이 Amazon S3 Vectors에 도입되었습니다. 벡터 버킷 내에서 벡터 인덱스 내 벡터 데이터를 구성할 수 있습니다. 벡터 버킷에는 여러 벡터 인덱스가 있을 수 있으며, 각 벡터 인덱스에는 수백만 개의 벡터가 있을 수 있습니다. 자세한 내용은 Amazon S3 사용 설명서의 Amazon S3 Vectors 및 벡터 버킷 작업을 참조하세요.

각 벡터는 다음으로 구성됩니다.

벡터 인덱스는 유사성 검색 작업을 위한 유클리드 및 코사인 거리 함수를 지원합니다.

생성 방법을 비롯하여 Amazon S3 Vectors 버킷에 대한 자세한 내용은 Amazon S3 사용 설명서의 Amazon S3 Vectors 및 벡터 버킷 작업을 참조하세요. 이 주제에 설명된 것 이상의 OpenSearch Service와의 통합에 대한 자세한 내용은 OpenSearch Service에 S3 Vectors 사용을 참조하세요.

Amazon OpenSearch Service와 함께 S3 Vectors를 사용하면 쿼리 빈도가 낮을 때 벡터 저장 비용을 절감한 다음, 수요 증가에 따라 해당 데이터 세트를 OpenSearch로 빠르게 이동하거나 검색 기능을 개선할 수 있습니다.

OpenSearch Service는 Amazon S3 Vectors와 통합되어 Amazon S3 벡터 버킷이 자체적으로 제공하는 것 이상의 향상된 성능과 기능을 제공합니다. 다음이 필요한 경우 이 통합을 고려하세요.

이 통합은 여러 애플리케이션이 동일한 벡터 데이터를 서로 다른 성능 요구 사항으로 사용할 때 특히 유용합니다. 일부 애플리케이션은 비용에 민감한 사용 사례를 위해 Amazon S3 Vectors 버킷과 직접 상호 작용하는 반면, 성능이 중요한 작업을 위해 OpenSearch 통합을 활용하는 애플리케이션도 있습니다.

통합 아키텍처

이 통합은 Amazon OpenSearch Ingestion(OSI)을 Amazon S3 Vectors 인덱스와 Amazon OpenSearch Serverless 벡터 컬렉션 간의 데이터 파이프라인으로 사용합니다. OpenSearch Ingestion은 지정된 벡터 인덱스에서 벡터 데이터를 자동으로 내보내고 고성능 검색 작업을 위해 이를 OpenSearch Serverless 벡터 컬렉션으로 수집합니다.

각 벡터 인덱스는 OpenSearch Service 컬렉션의 해당 인덱스에 매핑됩니다. 통합:

구성 후 OpenSearch Ingestion은 Amazon S3 ListVectors API를 통해, 지정된 벡터 인덱스의 벡터를 사용하여 데이터 내보내기 프로세스를 시작합니다. 이 서비스는 벡터를 병렬로 처리하여 OpenSearch Ingestion과 Amazon OpenSearch Serverless 모두의 규모 조정 제한을 준수하면서 수집 속도를 최적화합니다.

수집 중에 이 서비스는 다음을 수행합니다.

통합은 벡터 차원, 데이터 세트 크기 및 구성된 조정 제한에 따라 고성능으로 대규모 데이터 세트를 효율적으로 처리합니다. OSI는 파이프라인당 최대 16명의 작업자로 스케일 업할 수 있으며, OpenSearch Serverless는 수집 수요에 따라 용량을 자동으로 조정합니다. 기본적으로 OpenSearch는 maxSearch OpenSearch Serverless 측의 OpenSearch 컴퓨팅 단위(OCU)를 100으로 늘립니다.

필수 IAM 권한

이 통합에서는 서비스 간 보안 통신을 활성화하기 위해 IAM 권한을 신중하게 구성해야 합니다. OpenSearch Ingestion에는 Amazon S3 Vectors 인덱스에서 읽고, OpenSearch Service 벡터 컬렉션에 쓰고, 관련 보안 정책을 관리할 권한이 필요합니다.

이 주제의 뒷부분에서 설명하는 절차를 사용하여 통합을 활성화하면 권한 관리를 위해 다음 옵션 중 하나를 선택할 수 있습니다.

자동으로 생성된 역할에는 다음에 대한 정책이 포함됩니다.

기존 역할을 지정하기로 선택한 경우 역할에 다음 IAM 권한이 있는지 확인합니다.

(필수): OpenSearch Ingestion과 OpenSearch Serverless 간의 데이터 파이프라인 권한

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "allowAPIs",
            "Effect": "Allow",
            "Action": [ "aoss:APIAccessAll", "aoss:BatchGetCollection" ],
            "Resource": [ "arn:aws:aoss:*:111122223333:collection/collection-id" ]
        },
        {
            "Sid": "allowSecurityPolicy",
            "Effect": "Allow",
            "Action": [
                "aoss:CreateSecurityPolicy",
                "aoss:UpdateSecurityPolicy",
                "aoss:GetSecurityPolicy"
            ],
            "Resource": "*",
            "Condition":{
               "StringLike":{
                  "aoss:collection": [ "collection-name" ]
                },
               "StringEquals": {
                  "aws:ResourceAccount": [ "111122223333" ]
               }
            }
        }
    ]
}

(필수): OpenSearch Ingestion과 Amazon S3 Dead Letter Queue(DLQ) 간의 데이터 수집 권한

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "s3Access",
            "Effect": "Allow",
            "Action": [
              "s3:PutObject"
            ],
            "Resource": [ "arn:aws:s3:::bucket/*" ]
        }
    ]
}

(필수): OpenSearch Ingestion과 Amazon S3 Vectors 간의 데이터 수집 권한

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "AllowS3VectorIndexAccess",
            "Effect": "Allow",
            "Action": [
               "s3vectors:ListVectors",
               "s3vectors:GetVectors"
            ],
            "Resource": [
                "arn:aws:s3vectors:us-east-1:111122223333:bucket/bucket-name/index/index-name"
            ]
        }
    ]
}

(AWS KMS 암호화가 활성화된 경우 필수): OpenSearch Ingestion과 Amazon S3 Vectors 간의 통신을 위한 복호화 권한

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "allowS3VectorDecryptionOfCustomManagedKey",
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt"
            ],
            "Resource": [ "arn:aws:kms:us-east-1:111122223333:key/key-id" ],
            "Condition": {
                "StringEquals": {
                    "kms:ViaService": "s3vectors.us-east-1.amazonaws.com",
                    "kms:EncryptionContext:aws:s3vectors:arn": "arn:aws:s3vectors:us-east-1:111122223333:bucket/example-bucket"
                 }
             }
        }
    ]
}

OpenSearch와 Amazon S3 Vectors 통합 구성

다음 절차에 따라 OpenSearch Serverless와의 Amazon S3 Vectors 통합을 구성합니다.

수집에 성공하면 OSI는 OpenSearch에서 내보낸 데이터를 유지하면서 불필요한 비용을 방지하기 위해 파이프라인을 자동으로 중지합니다. CloudWatch 지표를 통해 통합 진행 상황을 모니터링하고, 문제 해결을 위해 자세한 로그에 액세스할 수 있습니다.

OpenSearch 컬렉션은 활성 상태로 유지되며 초기 수집이 완료되면 쿼리에 사용할 수 있습니다. 다음을 수행할 수 있습니다.