翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

# Amazon OpenSearch Ingestion パイプラインでサポートされているプラグインとオプション
<a name="pipeline-config-reference"></a>

Amazon OpenSearch Ingestion では、[OpenSearch Data Prepper](https://opensearch.org/docs/latest/data-prepper/) と異なり、ソース、プロセッサ、シンクのサブセットがサポートされています。また、OpenSearch Ingestion では、サポートされている各プラグインで使用できるオプションにいくつかの制限があります。以下のセクションでは、OpenSearch Ingestion でサポートされているプラグインと関連するオプションについて、説明します。

**注記**  
OpenSearch Ingestion では、デフォルトのバッファーが自動的に設定されるため、バッファープラグインはサポートされていません。パイプラインの設定にバッファーを含めると、検証エラーが発生します。

**Topics**
+ [サポートされているプラグイン](#ingestion-plugins)
+ [ステートレスプロセッサとステートフルプロセッサ](#processor-stateful-stateless)
+ [設定の要件と制限](#ingestion-parameters)

## サポートされているプラグイン
<a name="ingestion-plugins"></a>

OpenSearch Ingestion では、以下のData Prepper プラグインがサポートされています。

**ソース**:
+ [DocumentDB](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/documentdb/)
+ [DynamoDB](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/dynamo-db/)
+ [HTTP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/)
+ [Kafka](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/kafka/)
+ [Kinesis](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/kinesis/)
+ [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/opensearch/)
+ [OTel logs](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-logs-source/)
+ [OTel metrics](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-metrics-source/)
+ [OTel trace](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-trace/)
+ [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/s3/)

**プロセッサ**:
+ [Add entries](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/add-entries/)
+ [Aggregate](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/)
+ [Anomaly detector](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/anomaly-detector/)
+ [AWS Lambda](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aws-lambda/)
+ [Convert entry type](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/convert-entry-type/)
+ [Copy values](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/copy-values/)
+ [CSV](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/csv/)
+ [日付](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/date/)
+ [遅延](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/delay/)
+ [解凍](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/decompress/)
+ [Delete entries](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/delete-entries/)
+ [解読](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/dissect/)
+ [Drop events](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/drop-events/)
+ [フラット化](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/flatten/)
+ [Geo IP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/geoip/)
+ [Grok](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/grok/)
+ [Key value](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/key-value/)
+ [List to map](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/list-to-map/)
+ [Lowercase string](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/lowercase-string/)
+ [リストにマップする](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/map-to-list/)
+ [ミューテーションイベント](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/mutate-event/) (プロセッサのシリーズ)
+ [ミューテーション文字列](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/mutate-string/) (プロセッサのシリーズ)
+ [Obfuscate](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/obfuscate/)
+ [OTel metrics](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-metrics/)
+ [OTel trace group](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-trace-group/)
+ [OTel trace](https://docs.opensearch.org/latest/data-prepper/common-use-cases/trace-analytics/)
+ [Ion を解析](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-ion/)
+ [Parse JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-json/)
+ [XML を解析](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-xml/)
+ [Rename keys](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/rename-keys/)
+ [エントリを選択](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/select-entries/)
+ [サービスマップ](https://docs.opensearch.org/latest/data-prepper/common-use-cases/trace-analytics/)
+ [Split even](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/split-event/)
+ [Split string](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/split-string/)
+ [String converter](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/string-converter/)
+ [Substitute string](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/substitute-string/)
+ [Trace peer forwarder](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/trace-peer-forwarder/)
+ [[Translate]](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/translate/) (変換)
+ [Trim string](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/trim-string/)
+ [切り詰め](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/truncate/)
+ [Uppercase string](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/uppercase-string/)
+ [User agent](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/user-agent/)
+ [Write JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/write-json/)

**シンク**:
+ [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/opensearch/) (OpenSearch Service、OpenSearch Serverless、Elasticsearch 6.8 以降をサポート)
+ [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/)

**シンクコーデック**:
+ [Avro](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#avro-codec)
+ [NDJSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#ndjson-codec)
+ [JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#json-codec)
+ [Parquet](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#parquet-codec)

## ステートレスプロセッサとステートフルプロセッサ
<a name="processor-stateful-stateless"></a>

*ステートレス*プロセッサは変換やフィルタリングなどの操作を行い、*ステートフル*プロセッサは前回の実行結果を記憶する集約などの操作を行います。OpenSearch Ingestion では、ステートフルプロセッサの [Aggregate](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/) と[Service-map](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/service-map/) がサポートされています。その他のサポートされているプロセッサは、すべてステートレスです。

ステートレスプロセッサのみを含むパイプラインの最大容量制限は、96 Ingestion OCU です。パイプラインにステートレスプロセッサが含まれる場合の最大容量制限は、48 Ingestion OCU です。ただし、パイプラインで[永続的バッファリング](osis-features-overview.md#persistent-buffering)が有効になっている場合、ステートレスプロセッサのみを使用する場合は 最大 384 Ingestion OCU、ステートフルプロセッサが含まれている場合は 192 Ingestion OCU を使用できます。詳細については、「[Amazon OpenSearch Ingestion でのパイプラインのスケーリング](ingestion-scaling.md)」を参照してください。

エンドツーエンドの受信確認は、ステートレスプロセッサでのみサポートされています。詳細については、「[エンドツーエンドの確認応答](osis-features-overview.md#osis-features-e2e)」を参照してください。

## 設定の要件と制限
<a name="ingestion-parameters"></a>

以下で特に明記されていない限り、上記のサポートされているプラグインに関して Data Prepper の設定リファレンスに記載されているオプションは、すべて OpenSearch Ingestion パイプラインで使用できます。次のセクションでは、OpenSearch Ingestion が特定のプラグインオプションに設定している制限について説明します。

**注記**  
OpenSearch Ingestion では、デフォルトのバッファーが自動的に設定されるため、バッファープラグインはサポートされていません。パイプラインの設定にバッファーを含めると、検証エラーが発生します。

`authentication` や `acm_certificate_arn` など、OpenSearch Ingestion によって多くのオプションが内部で設定され管理されています。`thread_count` や `request_timeout` など、その他のオプションは、手動で変更するとパフォーマンスに影響します。したがって、これらの値は、パイプラインの最適なパフォーマンスを確保するために内部で設定されます。

最後に、`ism_policy_file` や `sink_template` など、オプションの中には OpenSearch Ingestion に渡せないものがあります。これらは、オープンソースの Data Prepper で実行するときローカルファイルになるためです。こうした値はサポートされていません。

**Topics**
+ [一般的なパイプラインのオプション](#ingestion-params-general)
+ [Grok プロセッサ](#ingestion-params-grok)
+ [HTTP ソース](#ingestion-params-http)
+ [OpenSearch シンク](#ingestion-params-opensearch)
+ [OTel メトリクスソース、OTel トレースソース、OTel ログソース](#ingestion-params-otel-source)
+ [OTel トレースグループプロセッサ](#ingestion-params-otel-trace)
+ [OTel トレースプロセッサ](#ingestion-params-otel-raw)
+ [サービスマッププロセッサ](#ingestion-params-servicemap)
+ [S3 ソース](#ingestion-params-s3)

### 一般的なパイプラインのオプション
<a name="ingestion-params-general"></a>

以下の[一般的なパイプラインのオプション](https://docs.opensearch.org/latest/data-prepper/pipelines/pipelines/)は、OpenSearch Ingestion により設定され、パイプライン設定ではサポートされていません。
+ `workers`
+ `delay`

### Grok プロセッサ
<a name="ingestion-params-grok"></a>

以下の [Grok](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/grok/) プロセッサオプションはサポートされていません。
+ `patterns_directories`
+ `patterns_files_glob`

### HTTP ソース
<a name="ingestion-params-http"></a>

[HTTP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/) ソースプラグインには、次の要件および制限があります。
+ `path` のオプションは*必須*です。このパスは `/log/ingest` のような文字列で、ログを取り込むための URI パスを表しています。このパスが、データをパイプラインに送信する際に使用する URI を定義します。例えば、`https://log-pipeline.us-west-2.osis.amazonaws.com{{/log/ingest}}`。パスは、スラッシュ (/) から開始し、「-」、「\_」、「.」、「/」などの特殊文字や `${pipelineName}` プレースホルダーを含めることができます。
+ 以下の HTTP ソースオプションは、OpenSearch Ingestion により設定され、パイプライン設定ではサポートされていません。
  + `port`
  + `ssl`
  + `ssl_key_file`
  + `ssl_certificate_file`
  + `aws_region`
  + `authentication`
  + `unauthenticated_health_check`
  + `use_acm_certificate_for_ssl`
  + `thread_count`
  + `request_timeout`
  + `max_connection_count`
  + `max_pending_requests`
  + `health_check_service`
  + `acm_private_key_password`
  + `acm_certificate_timeout_millis`
  + `acm_certificate_arn`

### OpenSearch シンク
<a name="ingestion-params-opensearch"></a>

[OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/opensearch/) シンクのプラグインには、以下の要件および制限があります。
+ `aws` のオプションは*必須*であり、次のオプションを含んでいる必要があります。
  + `sts_role_arn`
  + `region`
  + `hosts`
  + `serverless` (シンクが OpenSearch Serverless コレクションの場合)
+ `sts_role_arn` のオプションは、YAML 定義ファイル内で、各シンクで同じロールを指している必要があります。
+ `hosts` のオプションは、OpenSearch Service のドメインエンドポイントまたは OpenSearch Serverless コレクションエンドポイントを指定する必要があります。ドメインの[カスタムエンドポイント](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/customendpoint.html)は指定できません。こちらは、標準エンドポイントでなければなりません。
+ `hosts` のオプションがサーバーレスコレクションのエンドポイントである場合は、`serverless` のオプションを `true` に設定する必要があります。さらに、YAML 定義ファイルに `index_type` のオプションが含まれている場合は、これを `management_disabled` に設定する必要があります。そうしないと検証に失敗します。
+ 次のオプションはサポートされていません。
  + `username`
  + `password`
  + `cert`
  + `proxy`
  + `dlq_file` - 失敗したイベントをデッドレターキュー (DLQ) にオフロードする場合は、`dlq` オプションを使用して S3 バケットを指定します。
  + `ism_policy_file`
  + `socket_timeout`
  + `template_file`
  + `insecure`

### OTel メトリクスソース、OTel トレースソース、OTel ログソース
<a name="ingestion-params-otel-source"></a>

[OTel メトリクスソース](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-metrics-source/)、[OTel トレースソース](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-trace/)、[OTel ログ](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-logs-source/)ソースプラグインには、次の要件および制限があります。
+ `path` のオプションは*必須*です。このパスは `/log/ingest` のような文字列で、ログを取り込むための URI パスを表しています。このパスが、データをパイプラインに送信する際に使用する URI を定義します。例えば、`https://log-pipeline.us-west-2.osis.amazonaws.com{{/log/ingest}}`。パスは、スラッシュ (/) から開始し、「-」、「\_」、「.」、「/」などの特殊文字や `${pipelineName}` プレースホルダーを含めることができます。
+ 次のオプションは、OpenSearch Ingestion で設定されており、パイプライン設定ではサポートされていません。
  + `port`
  + `ssl`
  + `sslKeyFile`
  + `sslKeyCertChainFile`
  + `authentication`
  + `unauthenticated_health_check`
  + `useAcmCertForSSL`
  + `unframed_requests`
  + `proto_reflection_service`
  + `thread_count`
  + `request_timeout`
  + `max_connection_count`
  + `acmPrivateKeyPassword`
  + `acmCertIssueTimeOutMillis`
  + `health_check_service`
  + `acmCertificateArn`
  + `awsRegion`

### OTel トレースグループプロセッサ
<a name="ingestion-params-otel-trace"></a>

[OTel トレースグループ](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-trace-group/)プロセッサには、次の要件および制限があります。
+ `aws` のオプションは*必須*であり、次のオプションを含んでいる必要があります。
  + `sts_role_arn`
  + `region`
  + `hosts`
+ `sts_role_arn` のオプションは、OpenSearch シンク設定で指定されるパイプラインロールと、同じロールを指定します。
+ `username`、`password`、`cert`、`insecure` のオプションはサポートされていません。
+ `aws_sigv4` のオプションは必須であり、true に設定する必要があります。
+ OpenSearch シンクプラグイン内の `serverless` のオプションはサポートされていません。Otel トレースグループプロセッサは、現在 OpenSearch Serverless コレクションでは動作しません。
+ パイプライン設定本体内の `otel_trace_group` プロセッサの数は、8 を超えることはできません。

### OTel トレースプロセッサ
<a name="ingestion-params-otel-raw"></a>

[OTel トレース](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/otel-traces/)プロセッサには、次の要件および制限があります。
+ `trace_flush_interval` オプションの値は、300 秒を超えることはできません。

### サービスマッププロセッサ
<a name="ingestion-params-servicemap"></a>

[サービスマップ](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/service-map/)プロセッサには、次の要件および制限があります。
+ `window_duration` オプションの値は、300 秒を超えることはできません。

### S3 ソース
<a name="ingestion-params-s3"></a>

[S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/s3/) ソースのプラグインには、次の要件および制限があります。
+ `aws` のオプションは*必須*であり、`region` と `sts_role_arn` のオプションを含んでいる必要があります。
+ `records_to_accumulate` オプションの値は、200 を超えることはできません。
+ `maximum_messages` オプションの値は、10 を超えることはできません。
+ 指定する場合は、`disable_bucket_ownership_validation` オプションを false に設定する必要があります。
+ 指定する場合は、`input_serialization` オプションを `parquet` に設定する必要があります。