翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

（プレビュー) Amazon S3 ベクトルから OpenSearch Serverless へのインポート

Amazon S3 Vectors は、ベクトルの保存とクエリをネイティブにサポートする最初のクラウドオブジェクトストアを提供します。S3 Vectors は、セマンティックの意味と類似性に基づいてクエリできる、費用対効果が高く、伸縮自在で耐久性の高いベクトルストレージを提供します。1 秒未満のクエリ応答時間を提供し、ベクトルのアップロード、保存、クエリのコストを最大 90% 削減します。

Amazon S3 Vectors には S3 ベクトルバケットが導入されています。これを使用して、インフラストラクチャをプロビジョニングすることなくベクトルデータを保存、アクセス、クエリできます。ベクトルバケット内では、ベクトルインデックス内でベクトルデータを整理できます。ベクトルバケットは複数のベクトルインデックスを持つことができ、各ベクトルインデックスは数百万のベクトルを保持できます。詳細については、Amazon S3 ユーザーガイド」の「Amazon S3 ベクトルとベクトルバケットの使用」を参照してください。 Amazon S3

各ベクトルは以下で構成されます。

ベクトルインデックスは、類似度検索オペレーションのユークリッドおよびコサイン距離関数をサポートします。

Amazon S3 ベクトルバケットの作成方法などの詳細については、「Amazon S3 ユーザーガイド」の「Amazon S3 ベクトルとベクトルバケットの使用」を参照してください。 Amazon S3 このトピックで説明されている以外の OpenSearch Service との統合の詳細については、「OpenSearch Service での S3 ベクトルの使用」を参照してください。

Amazon OpenSearch Service で S3 Vectors を使用すると、クエリの頻度が低い場合にベクトルストレージのコストを削減し、需要の増加に応じてそれらのデータセットを OpenSearch にすばやく移動したり、検索機能を強化したりできます。

OpenSearch Service は Amazon S3 Vectors と統合され、Amazon S3 ベクトルバケットが単独で提供する以上のパフォーマンスと機能を提供します。必要に応じて、この統合を検討してください。

この統合は、複数のアプリケーションが異なるパフォーマンス要件で同じベクトルデータを使用する場合に特に便利です。一部のアプリケーションはコスト重視のユースケースのために Amazon S3 ベクトルバケットと直接やり取りでき、他のアプリケーションはパフォーマンス重視のオペレーションのために OpenSearch 統合を活用できます。

統合アーキテクチャ

この統合では、Amazon OpenSearchAmazon S3ベクトルインデックスと Amazon OpenSearch Serverless ベクトルコレクション間のデータパイプラインとして Amazon OpenSearch Ingestion (OSI) を使用します。OpenSearch Ingestion は、指定したベクトルインデックスからベクトルデータを自動的にエクスポートし、それを OpenSearch Serverless ベクトルコレクションに取り込み、高性能な検索オペレーションを行います。

各ベクトルインデックスは、OpenSearch Service コレクション内の対応するインデックスにマッピングされます。統合：

設定後、OpenSearch Ingestion は Amazon S3 ListVectors API を使用して、指定されたベクトルインデックスからベクトルを消費することでデータエクスポートプロセスを開始します。このサービスはベクトルを並行して処理し、OpenSearch Ingestion と Amazon OpenSearch Serverless の両方のスケーリング制限を尊重しながら取り込み速度を最適化します。

取り込み中、 サービスは以下を行います。

統合は、ベクトルディメンション、データセットサイズ、および設定されたスケーリング制限に応じてパフォーマンスで、大規模なデータセットを効率的に処理します。OSI はパイプラインあたり最大 16 人のワーカーをスケールできますが、OpenSearch Serverless は取り込みの需要に基づいて容量を自動的に調整します。デフォルトでは、OpenSearch は maxSearch OpenSearch Serverless 側の OpenSearch Computational Unit (OCU) を 100 に増やします。

必要な IAM 許可

統合では、サービス間の安全な通信を可能にするために、IAM アクセス許可を慎重に設定する必要があります。OpenSearch Ingestion には、Amazon S3 ベクトルインデックスからの読み取り、OpenSearch Service ベクトルコレクションへの書き込み、および関連するセキュリティポリシーの管理を行うためのアクセス許可が必要です。

このトピックの後半の手順を使用して統合を有効にすると、アクセス許可管理に次のいずれかのオプションを選択できます。

自動的に作成されたロールには、以下のポリシーが含まれます。

既存のロールを指定する場合は、ロールに次の IAM アクセス許可があることを確認します。

（必須）: OpenSearch Ingestion と OpenSearch Serverless 間のデータパイプラインのアクセス許可

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "allowAPIs",
            "Effect": "Allow",
            "Action": [ "aoss:APIAccessAll", "aoss:BatchGetCollection" ],
            "Resource": [ "arn:aws:aoss:*:account-id:collection/collection-id" ]
        },
        {
            "Sid": "allowSecurityPolicy",
            "Effect": "Allow",
            "Action": [
                "aoss:CreateSecurityPolicy",
                "aoss:UpdateSecurityPolicy",
                "aoss:GetSecurityPolicy"
            ],
            "Resource": "*",
            "Condition":{
               "StringLike":{
                  "aoss:collection": [ "collection-name" ]
                },
               "StringEquals": {
                  "aws:ResourceAccount": [ "account-id" ]
               }
            }
        }
    ]
}

（必須）: OpenSearch Ingestion と Amazon S3 デッドレターキュー間のデータ取り込みアクセス許可

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "s3Access",
            "Effect": "Allow",
            "Action": [
              "s3:PutObject"
            ],
            "Resource": [ "arn:aws:s3:::bucket/*" ]
        }
    ]
}

（必須）: OpenSearch Ingestion と Amazon S3 Vectors 間のデータ取り込みアクセス許可

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowS3VectorIndexAccess",
            "Effect": "Allow",
            "Action": [
               "s3vectors:ListVectors",
               "s3vectors:GetVectors"
            ],
            "Resource": [
                "arn:aws:s3vectors:region:account-id:bucket/bucket-name/index/index-name"
            ]
        }
    ]
}

（ AWS KMS 暗号化が有効になっている場合は必須）: OpenSearch Ingestion と Amazon S3 Vectors 間の通信のための復号アクセス許可

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "allowS3VectorDecryptionOfCustomManagedKey",
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt"
            ],
            "Resource": [ "arn:aws:kms:region:account-id:key/key-id" ],
            "Condition": {
                "StringEquals": {
                    "kms:ViaService": "s3vectors.region.amazonaws.com",
                    "kms:EncryptionContext:aws:s3vectors:arn": "arn:aws:s3vectors:region:account-id:bucket/bucket-name"
                 }
             }
        }
    ]
}

Amazon S3 Vectors と OpenSearch の統合を設定する

次の手順を使用して、Amazon S3 Vectors と OpenSearch Serverless の統合を設定します。

取り込みが成功すると、OSI は自動的にパイプラインを停止し、OpenSearch でエクスポートされたデータを維持しながら不要なコストを防止します。CloudWatch メトリクスを使用して統合の進行状況をモニタリングし、トラブルシューティングのために詳細ログにアクセスできます。

OpenSearch コレクションはアクティブのままで、最初の取り込みが完了した後もクエリに使用できます。以下を実行できます。