Amazon OpenSearch Ingestion パイプラインでサポートされているプラグインとオプション - Amazon OpenSearch Service
サポートされているプラグインステートレスプロセッサとステートフルプロセッサ設定の要件と制限

Amazon OpenSearch Ingestion パイプラインでサポートされているプラグインとオプション

Amazon OpenSearch Ingestion では、OpenSearch Data Prepper と異なり、ソース、プロセッサ、シンクのサブセットがサポートされています。また、OpenSearch Ingestion では、サポートされている各プラグインで使用できるオプションにいくつかの制限があります。以下のセクションでは、OpenSearch Ingestion でサポートされているプラグインと関連するオプションについて、説明します。

注記

OpenSearch Ingestion では、デフォルトのバッファーが自動的に設定されるため、バッファープラグインはサポートされていません。パイプラインの設定にバッファーを含めると、検証エラーが発生します。

サポートされているプラグイン

OpenSearch Ingestion では、以下のData Prepper プラグインがサポートされています。

ソース:

プロセッサ:

シンク:

  • OpenSearch (OpenSearch Service、OpenSearch Serverless、Elasticsearch 6.8 以降をサポート)

  • S3

シンクコーデック:

ステートレスプロセッサとステートフルプロセッサ

ステートレスプロセッサは変換やフィルタリングなどの操作を行い、ステートフルプロセッサは前回の実行結果を記憶する集約などの操作を行います。OpenSearch Ingestion では、ステートフルプロセッサの Aggregate とService-map がサポートされています。その他のサポートされているプロセッサは、すべてステートレスです。

ステートレスプロセッサのみを含むパイプラインの最大容量制限は、96 Ingestion OCU です。パイプラインにステートレスプロセッサが含まれる場合の最大容量制限は、48 Ingestion OCU です。ただし、パイプラインで永続的バッファリングが有効になっている場合、ステートレスプロセッサのみを使用する場合は 最大 384 Ingestion OCU、ステートフルプロセッサが含まれている場合は 192 Ingestion OCU を使用できます。詳細については、「Amazon OpenSearch Ingestion でのパイプラインのスケーリング」を参照してください。

エンドツーエンドの受信確認は、ステートレスプロセッサでのみサポートされています。詳細については、「エンドツーエンドの確認応答」を参照してください。

設定の要件と制限

以下で特に明記されていない限り、上記のサポートされているプラグインに関して Data Prepper の設定リファレンスに記載されているオプションは、すべて OpenSearch Ingestion パイプラインで使用できます。次のセクションでは、OpenSearch Ingestion が特定のプラグインオプションに設定している制限について説明します。

注記

OpenSearch Ingestion では、デフォルトのバッファーが自動的に設定されるため、バッファープラグインはサポートされていません。パイプラインの設定にバッファーを含めると、検証エラーが発生します。

authentication や acm_certificate_arn など、OpenSearch Ingestion によって多くのオプションが内部で設定され管理されています。thread_count や request_timeout など、その他のオプションは、手動で変更するとパフォーマンスに影響します。したがって、これらの値は、パイプラインの最適なパフォーマンスを確保するために内部で設定されます。

最後に、ism_policy_file や sink_template など、オプションの中には OpenSearch Ingestion に渡せないものがあります。これらは、オープンソースの Data Prepper で実行するときローカルファイルになるためです。こうした値はサポートされていません。

一般的なパイプラインのオプション

以下の一般的なパイプラインのオプションは、OpenSearch Ingestion により設定され、パイプライン設定ではサポートされていません。

  • workers

  • delay

Grok プロセッサ

以下の Grok プロセッサオプションはサポートされていません。

  • patterns_directories

  • patterns_files_glob

HTTP ソース

HTTP ソースプラグインには、次の要件および制限があります。

  • path のオプションは必須です。このパスは /log/ingest のような文字列で、ログを取り込むための URI パスを表しています。このパスが、データをパイプラインに送信する際に使用する URI を定義します。例えば、https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest。パスは、スラッシュ (/) から開始し、「-」、「_」、「.」、「/」などの特殊文字や ${pipelineName} プレースホルダーを含めることができます。

  • 以下の HTTP ソースオプションは、OpenSearch Ingestion により設定され、パイプライン設定ではサポートされていません。

    • port

    • ssl

    • ssl_key_file

    • ssl_certificate_file

    • aws_region

    • authentication

    • unauthenticated_health_check

    • use_acm_certificate_for_ssl

    • thread_count

    • request_timeout

    • max_connection_count

    • max_pending_requests

    • health_check_service

    • acm_private_key_password

    • acm_certificate_timeout_millis

    • acm_certificate_arn

OpenSearch シンク

OpenSearch シンクのプラグインには、以下の要件および制限があります。

  • aws のオプションは必須であり、次のオプションを含んでいる必要があります。

    • sts_role_arn

    • region

    • hosts

    • serverless (シンクが OpenSearch Serverless コレクションの場合)

  • sts_role_arn のオプションは、YAML 定義ファイル内で、各シンクで同じロールを指している必要があります。

  • hosts のオプションは、OpenSearch Service のドメインエンドポイントまたは OpenSearch Serverless コレクションエンドポイントを指定する必要があります。ドメインのカスタムエンドポイントは指定できません。こちらは、標準エンドポイントでなければなりません。

  • hosts のオプションがサーバーレスコレクションのエンドポイントである場合は、serverless のオプションを true に設定する必要があります。さらに、YAML 定義ファイルに index_type のオプションが含まれている場合は、これを management_disabled に設定する必要があります。そうしないと検証に失敗します。

  • 次のオプションはサポートされていません。

    • username

    • password

    • cert

    • proxy

    • dlq_file - 失敗したイベントをデッドレターキュー (DLQ) にオフロードする場合は、dlq オプションを使用して S3 バケットを指定します。

    • ism_policy_file

    • socket_timeout

    • template_file

    • insecure

OTel メトリクスソース、OTel トレースソース、OTel ログソース

OTel メトリクスソース、OTel トレースソース、OTel ログソースプラグインには、次の要件および制限があります。

  • path のオプションは必須です。このパスは /log/ingest のような文字列で、ログを取り込むための URI パスを表しています。このパスが、データをパイプラインに送信する際に使用する URI を定義します。例えば、https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest。パスは、スラッシュ (/) から開始し、「-」、「_」、「.」、「/」などの特殊文字や ${pipelineName} プレースホルダーを含めることができます。

  • 次のオプションは、OpenSearch Ingestion で設定されており、パイプライン設定ではサポートされていません。

    • port

    • ssl

    • sslKeyFile

    • sslKeyCertChainFile

    • authentication

    • unauthenticated_health_check

    • useAcmCertForSSL

    • unframed_requests

    • proto_reflection_service

    • thread_count

    • request_timeout

    • max_connection_count

    • acmPrivateKeyPassword

    • acmCertIssueTimeOutMillis

    • health_check_service

    • acmCertificateArn

    • awsRegion

OTel トレースグループプロセッサ

OTel トレースグループプロセッサには、次の要件および制限があります。

  • aws のオプションは必須であり、次のオプションを含んでいる必要があります。

    • sts_role_arn

    • region

    • hosts

  • sts_role_arn のオプションは、OpenSearch シンク設定で指定されるパイプラインロールと、同じロールを指定します。

  • username、password、cert、insecure のオプションはサポートされていません。

  • aws_sigv4 のオプションは必須であり、true に設定する必要があります。

  • OpenSearch シンクプラグイン内の serverless のオプションはサポートされていません。Otel トレースグループプロセッサは、現在 OpenSearch Serverless コレクションでは動作しません。

  • パイプライン設定本体内の otel_trace_group プロセッサの数は、8 を超えることはできません。

OTel トレースプロセッサ

OTel トレースプロセッサには、次の要件および制限があります。

  • trace_flush_interval オプションの値は、300 秒を超えることはできません。

サービスマッププロセッサ

サービスマッププロセッサには、次の要件および制限があります。

  • window_duration オプションの値は、300 秒を超えることはできません。

S3 ソース

S3 ソースのプラグインには、次の要件および制限があります。

  • aws のオプションは必須であり、region と sts_role_arn のオプションを含んでいる必要があります。

  • records_to_accumulate オプションの値は、200 を超えることはできません。

  • maximum_messages オプションの値は、10 を超えることはできません。

  • 指定する場合は、disable_bucket_ownership_validation オプションを false に設定する必要があります。

  • 指定する場合は、input_serialization オプションを parquet に設定する必要があります。