(プレビュー) Amazon S3 Vectors から OpenSearch Serverless へのインポート

Amazon S3 Vectors は、ベクトルの保存とクエリをネイティブにサポートする史上初のクラウドオブジェクトストアを提供します。S3 Vectors は、意味的意味や類似性に基づいてクエリを実行できる、費用対効果に優れ、伸縮性自在で耐久性の高いベクトルストレージを提供します。1 秒未満のクエリ応答時間を提供し、ベクトルのアップロード、保存、クエリのコストを最大 90% 削減します。

Amazon S3 Vectors には S3 ベクトルバケットが導入されています。これを使用して、インフラストラクチャをプロビジョニングすることなくベクトルデータを保存、アクセス、クエリできます。ベクトルバケット内では、ベクトルデータをベクトルインデックス内で整理できます。ベクトルバケットは複数のベクトルインデックスを持つことができ、各ベクトルインデックスは数百万のベクトルを保持できます。詳細については、「Amazon S3 ユーザーガイド」の「Amazon S3 Vectors とベクトルバケットの操作」を参照してください。

各ベクトルは以下で構成されます:

ベクトルインデックスは、類似性検索操作のためにユークリッド距離関数とコサイン距離関数をサポートします。

Amazon S3 ベクトルバケットの作成方法などの詳細については、「Amazon S3 ユーザーガイド」の「Amazon S3 Vectors とベクトルバケットの操作」を参照してください。このトピックで説明されている以外の OpenSearch Service との統合の詳細については、「OpenSearch Service での S3 Vectors の使用」を参照してください。

Amazon OpenSearch Service で S3 Vectors を使用すると、クエリの頻度が低い場合にベクトルストレージのコストを削減し、需要の増加に応じてそれらのデータセットを OpenSearch にすばやく移動したり、検索機能を強化したりできます。

OpenSearch Service は Amazon S3 Vectors と統合され、Amazon S3 ベクトルバケットが単独で提供する以上のパフォーマンスと機能を提供します。必要に応じて、この統合を検討してください。

この統合は、複数のアプリケーションが異なるパフォーマンス要件で同じベクトルデータを使用する場合に特に有用です。一部のアプリケーションはコストの影響を受けやすいユースケースのために Amazon S3 ベクトルバケットと直接やり取りでき、他のアプリケーションはパフォーマンスが重要なオペレーションのために OpenSearch 統合を活用できます。

統合アーキテクチャ

この統合では、Amazon OpenSearchAmazon S3 ベクトルインデックスと Amazon OpenSearch Serverless ベクトルコレクション間のデータパイプラインとして Amazon OpenSearch Ingestion (OSI) を使用します。OpenSearch Ingestion は、指定したベクトルインデックスからベクトルデータを自動的にエクスポートし、OpenSearch Serverless ベクトルコレクションに取り込んで、高性能な検索操作を行います。

各ベクトルインデックスは、OpenSearch Service コレクション内の対応するインデックスにマッピングされます。統合:

設定後、OpenSearch Ingestion は Amazon S3 ListVectors API を使用して、指定されたベクトルインデックスからベクトルを消費することでデータエクスポートプロセスを開始します。このサービスはベクトルを並行して処理し、OpenSearch Ingestion と Amazon OpenSearch Serverless の両方のスケーリング制限を尊重しながら取り込み速度を最適化します。

取り込み中、サービスは以下を行います。

統合は、ベクトルディメンション、データセットサイズ、および設定されたスケーリング制限に応じてパフォーマンスで、大規模なデータセットを効率的に処理します。OSI はパイプラインあたり最大 16 人のワーカーをスケールアップでき、OpenSearch Serverless は取り込みの需要に基づいて容量を自動的に調整します。デフォルトでは、OpenSearch は maxSearch OpenSearch Serverless 側の OpenSearch Computational Unit (OCU) を 100 に増やします。

必要な IAM 許可

統合には、サービス間の安全な通信を可能にするための IAM アクセス許可の慎重な設定が必要です。OpenSearch Ingestion には、Amazon S3 ベクトルインデックスからの読み取り、OpenSearch Service ベクトルコレクションへの書き込み、および関連するセキュリティポリシーの管理を行うためのアクセス許可が必要です。

このトピックの後半の手順を使用して統合を有効にすると、アクセス許可管理に次のいずれかのオプションを選択できます。

自動的に作成されたロールには、以下のポリシーが含まれます:

既存のロールを指定する場合は、ロールに次の IAM アクセス許可があることを確認します。

(必須): OpenSearch Ingestion と OpenSearch Serverless 間のデータパイプライン権限

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "allowAPIs",
            "Effect": "Allow",
            "Action": [ "aoss:APIAccessAll", "aoss:BatchGetCollection" ],
            "Resource": [ "arn:aws:aoss:*:111122223333:collection/collection-id" ]
        },
        {
            "Sid": "allowSecurityPolicy",
            "Effect": "Allow",
            "Action": [
                "aoss:CreateSecurityPolicy",
                "aoss:UpdateSecurityPolicy",
                "aoss:GetSecurityPolicy"
            ],
            "Resource": "*",
            "Condition":{
               "StringLike":{
                  "aoss:collection": [ "collection-name" ]
                },
               "StringEquals": {
                  "aws:ResourceAccount": [ "111122223333" ]
               }
            }
        }
    ]
}

(必須): OpenSearch Ingestion と Amazon S3 デッドレターキュー間のデータインジェスト権限

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "s3Access",
            "Effect": "Allow",
            "Action": [
              "s3:PutObject"
            ],
            "Resource": [ "arn:aws:s3:::bucket/*" ]
        }
    ]
}

(必須): OpenSearch Ingestion と Amazon S3 Vectors 間のデータインジェスト権限

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "AllowS3VectorIndexAccess",
            "Effect": "Allow",
            "Action": [
               "s3vectors:ListVectors",
               "s3vectors:GetVectors"
            ],
            "Resource": [
                "arn:aws:s3vectors:us-east-1:111122223333:bucket/bucket-name/index/index-name"
            ]
        }
    ]
}

(AWS KMS 暗号化が有効になっている場合に必須): OpenSearch Ingestion と Amazon S3 Vectors 間の通信のための復号権限

JSON

{
    "Version":"2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "allowS3VectorDecryptionOfCustomManagedKey",
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt"
            ],
            "Resource": [ "arn:aws:kms:us-east-1:111122223333:key/key-id" ],
            "Condition": {
                "StringEquals": {
                    "kms:ViaService": "s3vectors.us-east-1.amazonaws.com",
                    "kms:EncryptionContext:aws:s3vectors:arn": "arn:aws:s3vectors:us-east-1:111122223333:bucket/example-bucket"
                 }
             }
        }
    ]
}

Amazon S3 Vectors と OpenSearch の統合を設定する

次の手順を使用して、Amazon S3 Vectors と OpenSearch Serverless の統合を設定します。

取り込みが正常に完了すると、OSI は不要なコストを回避するためにパイプラインを自動的に停止します。取り込まれたデータは OpenSearch に保持されます。CloudWatch メトリクスを使用して統合の進行状況をモニタリングし、トラブルシューティングのために詳細ログにアクセスできます。

OpenSearch コレクションはアクティブのままで、最初の取り込みが完了した後もクエリで使用できます。以下を実行できます: