Amazon OpenSearch Service ダイレクトクエリの使用
Amazon OpenSearch Service ダイレクトクエリを使用して、取り込みパイプラインを構築せずに Amazon CloudWatch Logs、Amazon S3、Amazon Security Lake 内のデータを分析します。このゼロ ETL 統合により、OpenSearch SQL または PPL を使用して所定の場所にデータをクエリし、[Discover] で調べることができます。
開始するには、OpenSearch Service コンソールでデータソースを設定します。Amazon S3 の場合は、ドメイン接続を使用し、Query Workbench で SQL を使用してテーブルを作成します。CloudWatch Logs と Security Lake は、事前設定済みのソースと AWS Glue Data Catalog テーブルを使用します。
ダイレクトクエリのクォータ
お使いのアカウントには、OpenSearch Service のダイレクトクエリに関連する次のクォータがあります。
Amazon S3 のクォータ
Amazon S3 データソースにクエリを実行するたびに、OpenSearch Service はセッションを開き、少なくとも 3 分間セッションを維持します。これにより、後続のクエリにおけるセッション開始時間がなくなり、クエリのレイテンシーが短縮されます。
| 説明 | 最大値 | 上書き可能 |
|---|---|---|
| ドメインあたりの接続数 | 10 | [Yes (はい)] |
| ドメインあたりのデータソース | 20 | あり |
| ドメインあたりのインデックス | 5 | あり |
| データソースあたりの同時実行セッション | 10 | [Yes (はい)] |
| クエリあたりの最大 OCU | 60 | あり |
| 最大クエリ実行時間 (分) | 30 | あり |
| アクセラレーションあたりの最大 OCU | 20 | あり |
| 最大エフェメラルストレージ | 20 | あり |
CloudWatch Logs のクォータ
注記
CloudWatch Logs Insights を使用してダイレクトクエリを実行する場合は、必ず「OpenSearch SQL を使用する CloudWatch Logs Insights ユーザーの追加情報」を参照してください。
| 説明 | 値 | ソフト制限? | メモ |
|---|---|---|---|
| ダイレクトクエリ API 全体のアカウントレベルの TPS 制限 | 3 TPS | あり | |
| データソースの最大数 | 20 | あり | 制限は AWS アカウント ごとに適用されます。 |
| 自動更新インデックスまたはマテリアライズドビューの最大数 | 30 | あり | 制限はデータソースごとに適用されます。 |
| 最大同時クエリ数 | 15 | あり |
制限は、保留中または実行中状態のクエリに適用されます。 インタラクティブクエリ ( |
| 1 クエリあたりの最大同時 OCU | 512 | あり |
OpenSearch コンピューティングユニット (OCU) 15 個のエグゼキューターと 1 個のドライバーに基づいて制限します。各ドライバーには 16 個の vCPU と 32 GB のメモリがあります。同時処理能力を表します。 |
| 最大クエリ実行時間 (分) | 60 | なし | 制限は、CloudWatch Logs Insights の OpenSearch PPL/SQL クエリに適用されます。 |
| 古いクエリ ID を削除する期間 | 90 日間 | あり | これは、OpenSearch Service が古いエントリのクエリメタデータを消去するまでの期間です。例えば、90 日以上経過したクエリでは、GetDirectQuery または GetDirectQueryResult の呼び出しは失敗します。 |
Security Lake のクォータ
| 説明 | 値 | ソフト制限? | メモ |
|---|---|---|---|
| ダイレクトクエリ API 全体のアカウントレベルの TPS 制限 | 3 TPS | あり | |
| データソースの最大数 | 20 | あり | 制限は AWS アカウント ごとに適用されます。 |
| 自動更新インデックスまたはマテリアライズドビューの最大数 | 30 | あり |
制限はデータソースごとに適用されます。 自動更新が true に設定されているインデックスとマテリアライズドビュー (MV) のみが含まれます。 |
| 最大同時クエリ数 | 30 | あり |
制限は、保留中または実行中状態のクエリに適用されます。 インタラクティブクエリ ( |
| 1 クエリあたりの最大同時 OCU | 512 | あり |
OpenSearch コンピューティングユニット (OCU) 15 個のエグゼキューターと 1 個のドライバーに基づいて制限します。各ドライバーには 16 個の vCPU と 32 GB のメモリがあります。同時処理能力を表します。 |
| 最大クエリ実行時間 (分) | 30 | なし | インタラクティブクエリ (SELECT のようなデータ取得コマンドなど) にのみ適用されます。REFRESH クエリの場合、制限は 6 時間です。 |
| 古いクエリ ID を削除する期間 | 90 日間 | あり |
これは、OpenSearch Service が古いエントリのクエリメタデータを消去するまでの期間です。例えば、90 日以上経過したクエリでは、GetDirectQuery または GetDirectQueryResult の呼び出しは失敗します。 |
サポートしている AWS リージョン
Amazon S3、CloudWatch Logs、Security Lake における OpenSearch Service ダイレクトクエリでは、次の AWS リージョン がサポートされています。
Amazon S3 の利用可能な AWS リージョン
-
アジアパシフィック (香港)
-
アジアパシフィック (ムンバイ)
-
アジアパシフィック (ソウル)
-
アジアパシフィック (シンガポール)
-
アジアパシフィック (シドニー)
-
アジアパシフィック (東京)
-
カナダ (中部)
-
欧州 (フランクフルト)
-
欧州 (アイルランド)
-
欧州 (ストックホルム)
-
米国東部 (バージニア北部)
-
米国東部 (オハイオ)
-
米国西部 (オレゴン)
CloudWatch Logs の利用可能な AWS リージョン
-
アジアパシフィック (ムンバイ)
-
アジアパシフィック (香港)
-
アジアパシフィック (シンガポール)
-
アジアパシフィック (シドニー)
-
アジアパシフィック (東京)
-
カナダ (中部)
-
欧州 (フランクフルト)
-
欧州 (アイルランド)
-
欧州 (ストックホルム)
-
米国東部 (バージニア北部)
-
米国東部 (オハイオ)
-
米国西部 (オレゴン)
-
欧州 (パリ)
-
欧州 (ロンドン)
-
南米(サンパウロ)
Security Lake の利用可能な AWS リージョン
-
アジアパシフィック (ムンバイ)
-
アジアパシフィック (シンガポール)
-
アジアパシフィック (シドニー)
-
アジアパシフィック (東京)
-
カナダ (中部)
-
欧州 (フランクフルト)
-
欧州 (アイルランド)
-
欧州 (ストックホルム)
-
米国東部 (バージニア北部)
-
米国東部 (オハイオ)
-
米国西部 (オレゴン)
-
欧州 (パリ)
-
欧州 (ロンドン)
-
南米(サンパウロ)