Amazon OpenSearch Service ダイレクトクエリの使用 - Amazon OpenSearch Service

Amazon OpenSearch Service ダイレクトクエリの使用

Amazon OpenSearch Service ダイレクトクエリを使用して、取り込みパイプラインを構築せずに Amazon CloudWatch Logs、Amazon S3、Amazon Security Lake 内のデータを分析します。このゼロ ETL 統合により、OpenSearch SQL または PPL を使用して所定の場所にデータをクエリし、[Discover] で調べることができます。

開始するには、OpenSearch Service コンソールでデータソースを設定します。Amazon S3 の場合は、ドメイン接続を使用し、Query Workbench で SQL を使用してテーブルを作成します。CloudWatch Logs と Security Lake は、事前設定済みのソースと AWS Glue Data Catalog テーブルを使用します。

ダイレクトクエリのクォータ

お使いのアカウントには、OpenSearch Service のダイレクトクエリに関連する次のクォータがあります。

Amazon S3 のクォータ

Amazon S3 データソースにクエリを実行するたびに、OpenSearch Service はセッションを開き、少なくとも 3 分間セッションを維持します。これにより、後続のクエリにおけるセッション開始時間がなくなり、クエリのレイテンシーが短縮されます。

説明 最大値 上書き可能
ドメインあたりの接続数 10 [Yes (はい)]
ドメインあたりのデータソース 20 あり
ドメインあたりのインデックス 5 あり
データソースあたりの同時実行セッション 10 [Yes (はい)]
クエリあたりの最大 OCU 60 あり
最大クエリ実行時間 (分) 30 あり
アクセラレーションあたりの最大 OCU 20 あり
最大エフェメラルストレージ 20 あり

CloudWatch Logs のクォータ

注記

CloudWatch Logs Insights を使用してダイレクトクエリを実行する場合は、必ず「OpenSearch SQL を使用する CloudWatch Logs Insights ユーザーの追加情報」を参照してください。

説明 ソフト制限? メモ
ダイレクトクエリ API 全体のアカウントレベルの TPS 制限 3 TPS あり
データソースの最大数 20 あり 制限は AWS アカウント ごとに適用されます。
自動更新インデックスまたはマテリアライズドビューの最大数 30 あり 制限はデータソースごとに適用されます。
最大同時クエリ数 15 あり

制限は、保留中または実行中状態のクエリに適用されます。

インタラクティブクエリ (SELECT のようなデータ取り出しコマンドなど) とインデックスクエリ (CREATE/ALTER/DROP などのオペレーション) が含まれます。

1 クエリあたりの最大同時 OCU 512 あり

OpenSearch コンピューティングユニット (OCU) 15 個のエグゼキューターと 1 個のドライバーに基づいて制限します。各ドライバーには 16 個の vCPU と 32 GB のメモリがあります。同時処理能力を表します。

最大クエリ実行時間 (分) 60 なし 制限は、CloudWatch Logs Insights の OpenSearch PPL/SQL クエリに適用されます。
古いクエリ ID を削除する期間 90 日間 あり これは、OpenSearch Service が古いエントリのクエリメタデータを消去するまでの期間です。例えば、90 日以上経過したクエリでは、GetDirectQuery または GetDirectQueryResult の呼び出しは失敗します。

Security Lake のクォータ

説明 ソフト制限? メモ
ダイレクトクエリ API 全体のアカウントレベルの TPS 制限 3 TPS あり
データソースの最大数 20 あり 制限は AWS アカウント ごとに適用されます。
自動更新インデックスまたはマテリアライズドビューの最大数 30 あり

制限はデータソースごとに適用されます。

自動更新が true に設定されているインデックスとマテリアライズドビュー (MV) のみが含まれます。

最大同時クエリ数 30 あり

制限は、保留中または実行中状態のクエリに適用されます。

インタラクティブクエリ (SELECT のようなデータ取り出しコマンドなど) とインデックスクエリ (CREATE/ALTER/DROP などのオペレーション) が含まれます。

1 クエリあたりの最大同時 OCU 512 あり

OpenSearch コンピューティングユニット (OCU) 15 個のエグゼキューターと 1 個のドライバーに基づいて制限します。各ドライバーには 16 個の vCPU と 32 GB のメモリがあります。同時処理能力を表します。

最大クエリ実行時間 (分) 30 なし インタラクティブクエリ (SELECT のようなデータ取得コマンドなど) にのみ適用されます。REFRESH クエリの場合、制限は 6 時間です。
古いクエリ ID を削除する期間 90 日間 あり

これは、OpenSearch Service が古いエントリのクエリメタデータを消去するまでの期間です。例えば、90 日以上経過したクエリでは、GetDirectQuery または GetDirectQueryResult の呼び出しは失敗します。

サポートしている AWS リージョン

Amazon S3、CloudWatch Logs、Security Lake における OpenSearch Service ダイレクトクエリでは、次の AWS リージョン がサポートされています。

Amazon S3 の利用可能な AWS リージョン

  • アジアパシフィック (香港)

  • アジアパシフィック (ムンバイ)

  • アジアパシフィック (ソウル)

  • アジアパシフィック (シンガポール)

  • アジアパシフィック (シドニー)

  • アジアパシフィック (東京)

  • カナダ (中部)

  • 欧州 (フランクフルト)

  • 欧州 (アイルランド)

  • 欧州 (ストックホルム)

  • 米国東部 (バージニア北部)

  • 米国東部 (オハイオ)

  • 米国西部 (オレゴン)

CloudWatch Logs の利用可能な AWS リージョン

  • アジアパシフィック (ムンバイ)

  • アジアパシフィック (香港)

  • アジアパシフィック (シンガポール)

  • アジアパシフィック (シドニー)

  • アジアパシフィック (東京)

  • カナダ (中部)

  • 欧州 (フランクフルト)

  • 欧州 (アイルランド)

  • 欧州 (ストックホルム)

  • 米国東部 (バージニア北部)

  • 米国東部 (オハイオ)

  • 米国西部 (オレゴン)

  • 欧州 (パリ)

  • 欧州 (ロンドン)

  • 南米(サンパウロ)

Security Lake の利用可能な AWS リージョン

  • アジアパシフィック (ムンバイ)

  • アジアパシフィック (シンガポール)

  • アジアパシフィック (シドニー)

  • アジアパシフィック (東京)

  • カナダ (中部)

  • 欧州 (フランクフルト)

  • 欧州 (アイルランド)

  • 欧州 (ストックホルム)

  • 米国東部 (バージニア北部)

  • 米国東部 (オハイオ)

  • 米国西部 (オレゴン)

  • 欧州 (パリ)

  • 欧州 (ロンドン)

  • 南米(サンパウロ)