Amazon OpenSearch Ingestion の概要
Amazon OpenSearch Ingestion は、フルマネージド型のサーバーレスデータコレクターです。リアルタイムログ、メトリクス、トレースデータを Amazon OpenSearch Service ドメインと OpenSearch Serverless コレクションにストリーミングします。
OpenSearch Ingestion を使用すると、Logstash や Jaeger などのサードパーティーツールがデータを取り込む必要がなくなります。OpenSearch Ingestion にデータを送信するようにデータプロデューサーを設定すると、指定したドメインまたはコレクションにデータが自動的に配信されます。配信前にデータを変換することもできます。
OpenSearch Ingestion はサーバーレスであるため、インフラストラクチャの管理、ソフトウェアのパッチ適用、クラスターの手動スケーリングを行う必要はありません。取り込みパイプラインは AWS マネジメントコンソール で直接プロビジョニングでき、OpenSearch Ingestion が残りを処理します。
Amazon OpenSearch Service のコンポーネントである OpenSearch Ingestion は、Data Prepper により動作します。Data Prepper は、ダウンストリームの分析と視覚化のためにデータをフィルタリング、強化、変換、正規化、集約するオープンソースのデータコレクターです。
Amazon OpenSearch Ingestion の利点
OpenSearch Ingestion には次の利点があります。
-
セルフプロビジョニングされたパイプラインを手動で管理する必要がなくなります。
-
定義したキャパシティ制限に基づいてパイプラインを自動的にスケーリングします。
-
セキュリティパッチとバグに対するパッチで、パイプラインを最新の状態に維持します。
-
オプションで、パイプラインを仮想プライベートクラウド (VPC) に接続し、セキュリティレイヤーを追加できます。
-
コストを抑えるために、パイプラインの停止および開始が可能です。
-
一般的なユースケース用のパイプライン設定のブループリントを提供しているため、すみやかに起動して実行できます。
-
さまざまな AWS SDK と OpenSearch Ingestion API を使用して、パイプラインをプログラムで操作できます。
-
Amazon CloudWatch でのパフォーマンスモニタリングと CloudWatch Logs のエラーロギングをサポートしています。
サポートされている Data Prepper のバージョン
OpenSearch Ingestion は現在、次の Data Prepper のメジャーバージョンをサポートしています。
-
2.x
Code Editor を使用してパイプラインを作成するときは、必要な version オプションを用いて、使用する Data Prepper のメジャーバージョンを指定します。例えば、version: "。OpenSearch Ingestion は、メジャーバージョンのサポートされている最新マイナーバージョンを取得し、そのバージョンでパイプラインをプロビジョニングします。2"
Code Editor を使用してパイプラインを作成しない場合、OpenSearch Ingestion はサポートされている最新バージョンでパイプラインを自動的にプロビジョニングします。
現在、OpenSearch Ingestion は Data Prepper のバージョン 2.7 でパイプラインをプロビジョニングします。詳細については、「2.7 release notes
パイプラインの設定を更新すると、新しいマイナーバージョンの Data Prepper がサポートされている場合、OpenSearch Ingestion は、パイプライン設定で指定されたメジャーバージョンの、サポートされている最新のマイナーバージョンに、パイプラインを自動でアップグレードします。例えば、パイプラインの設定に version: "2" があり、OpenSearch Ingestion がまず、バージョン 2.6.0 のパイプラインをプロビジョニングしたとします。バージョン 2.7.0 のサポートが追加され、パイプライン設定に変更を加えると、OpenSearch Ingestion はパイプラインをバージョン 2.7.0 にアップグレードします。このプロセスにより、パイプラインは、最新のバグ修正とパフォーマンスの改善が施されて最新状態に保たれます。OpenSearch Ingestion は、パイプライン設定内の version オプションを手動で変更しない限り、パイプラインのメジャーバージョンを更新することはできません。詳細については、「Amazon OpenSearch Ingestion パイプラインの更新」を参照してください。
OpenSearch Ingestion の料金
パイプラインを流れるデータがあるかどうかにかかわらず、特定の時点で、パイプラインに割り当てられた Ingestion OCU の数に基づく料金のみをお支払いいただきます。OpenSearch Ingestion は、使用状況に応じてパイプラインのキャパシティをスケールアップまたはスケールダウンすることで、ワークロードに即座に対応します。
料金の詳細については、「Amazon OpenSearch Service の料金表
サポートしている AWS リージョン
OpenSearch Ingestion は、OpenSearch Service が利用できる AWS リージョン のサブセットで利用可能です。サポートされているリージョンのリストについては、「AWS 全般のリファレンス」の「Amazon OpenSearch Service endpoints and quotas」(Amazon OpenSearch Service エンドポイントとクォータ) を参照してください。
