本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

# Amazon OpenSearch Ingestion 管道支持的插件和选项
<a name="pipeline-config-reference"></a>

Amazon OpenSearch Ingestion 支持开源 D [OpenSearch at](https://opensearch.org/docs/latest/data-prepper/) a Prepper 中的一部分源、处理器和接收器。此外， OpenSearch Ingestion 还对每个支持的插件的可用选项施加了一些限制。以下各节介绍了 OpenSearch Ingestion 支持的插件和相关选项。

**注意**  
OpenSearch Ingestion 不支持任何缓冲区插件，因为它会自动配置默认缓冲区。如果您在管道配置中添加缓冲区，将收到验证错误。

**Topics**
+ [支持的插件](#ingestion-plugins)
+ [无状态与有状态处理器](#processor-stateful-stateless)
+ [配置要求和限制](#ingestion-parameters)

## 支持的插件
<a name="ingestion-plugins"></a>

OpenSearch Ingestion 支持以下 Data Prepper 插件：

**源**：
+ [DocumentDB](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/documentdb/)
+ [DynamoDB](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/dynamo-db/)
+ [HTTP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/)
+ [Kafka](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/kafka/)
+ [Kinesis](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/kinesis/)
+ [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/opensearch/)
+ [OTel logs](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-logs-source/)
+ [OTel metrics](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-metrics-source/)
+ [OTel 跟踪](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-trace/)
+ [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/s3/)

**处理器**：
+ [添加条目](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/add-entries/)
+ [聚合](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/)
+ [异常探测器](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/anomaly-detector/)
+ [AWS Lambda](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aws-lambda/)
+ [转换条目类型](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/convert-entry-type/)
+ [复制值](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/copy-values/)
+ [CSV](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/csv/)
+ [日期](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/date/)
+ [延迟](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/delay/)
+ [Decompress](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/decompress/)
+ [删除条目](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/delete-entries/)
+ [Dissect](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/dissect/)
+ [删除事件](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/drop-events/)
+ [展平](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/flatten/)
+ [Geo IP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/geoip/)
+ [Grok](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/grok/)
+ [键值](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/key-value/)
+ [列表到映射](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/list-to-map/)
+ [小写字符串](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/lowercase-string/)
+ [Map to list](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/map-to-list/)
+ [Mutate event](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/mutate-event/)（处理器系列）
+ [Mutate string](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/mutate-string/)（处理器系列）
+ [混淆处理](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/obfuscate/)
+ [OTel metrics](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-metrics/)
+ [OTel 追踪组](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-trace-group/)
+ [OTel 跟踪](https://docs.opensearch.org/latest/data-prepper/common-use-cases/trace-analytics/)
+ [Parse Ion](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-ion/)
+ [解析 JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-json/)
+ [Parse XML](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-xml/)
+ [重命名密钥](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/rename-keys/)
+ [Select entries](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/select-entries/)
+ [服务地图](https://docs.opensearch.org/latest/data-prepper/common-use-cases/trace-analytics/)
+ [拆分事件](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/split-event/)
+ [拆分字符串](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/split-string/)
+ [字符串转换器](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/string-converter/)
+ [替换字符串](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/substitute-string/)
+ [跟踪对等转发服务器](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/trace-peer-forwarder/)
+ [Translate](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/translate/)
+ [Trim 字符串](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/trim-string/)
+ [Truncate](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/truncate/)
+ [大写字符串](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/uppercase-string/)
+ [用户代理](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/user-agent/)
+ [写入 JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/write-json/)

**接收器**：
+ [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/opensearch/)（支持 OpenSearch 服务、 OpenSearch 无服务器和 Elasticsearch 6.8 或更高版本）
+ [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/)

**接收器编解码器**：
+ [Avro](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#avro-codec)
+ [NDJSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#ndjson-codec)
+ [JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#json-codec)
+ [Parquet](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#parquet-codec)

## 无状态与有状态处理器
<a name="processor-stateful-stateless"></a>

*无状态*处理器执行诸如转换和筛选之类的操作，而*有状态*处理器则执行诸如聚合之类的操作，这些操作会记住上一次运行的结果。 OpenSearch [Ingestion 支持有状态的处理器[聚合](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/)和服务映射。](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/service-map/)所有其他受支持的处理器均为无状态处理器。

对于仅包含无状态处理器的管道，最大容量限制为 96 Ingest OCUs ion。如果管道包含任何有状态的处理器，则最大容量限制为 48 Ing OCUs estion。但是，如果管道启用了[持久缓冲](osis-features-overview.md#persistent-buffering)，则在仅 OCUs 使用无状态处理器的情况下，它最多可以有 384 个摄入， OCUs 如果它包含任何有状态的处理器，则最多可以有 192 个摄入。有关更多信息，请参阅 [在 Amazon OpenSearch Ingestion 中扩展管道](ingestion-scaling.md)。

End-to-end 只有无状态处理器支持确认。有关更多信息，请参阅 [End-to-end 确认](osis-features-overview.md#osis-features-e2e)。

## 配置要求和限制
<a name="ingestion-parameters"></a>

除非下面另有说明，否则上面列出的受支持插件的 Data Prepper 配置参考中描述的所有选项都允许在 OpenSearch Ingestion 管道中使用。以下各节解释了 OpenSearch Ingestion 对某些插件选项施加的限制。

**注意**  
OpenSearch Ingestion 不支持任何缓冲区插件，因为它会自动配置默认缓冲区。如果您在管道配置中添加缓冲区，将收到验证错误。

许多选项都由 OpenSearch Ingestion 在内部配置和管理，例如`authentication`和。`acm_certificate_arn`其他选项（例如，`thread_count` 和 `request_timeout`），一旦手动更改，则会影响性能。因此，将在内部设置这些值，以确保实现管道的最佳性能。

最后，有些选项无法传递给 OpenSearch Ingestion，例如`ism_policy_file`和`sink_template`，因为在开源 Data Prepper 中运行时它们是本地文件。这些值不受支持。

**Topics**
+ [常规管道选项](#ingestion-params-general)
+ [Grok 处理器](#ingestion-params-grok)
+ [HTTP 源](#ingestion-params-http)
+ [OpenSearch 水槽](#ingestion-params-opensearch)
+ [OTel 指标来源、 OTel 跟踪源和 OTel 日志源](#ingestion-params-otel-source)
+ [OTel 跟踪组处理器](#ingestion-params-otel-trace)
+ [OTel 跟踪处理器](#ingestion-params-otel-raw)
+ [服务映射处理器](#ingestion-params-servicemap)
+ [S3 源](#ingestion-params-s3)

### 常规管道选项
<a name="ingestion-params-general"></a>

以下[常规管道选项](https://docs.opensearch.org/latest/data-prepper/pipelines/pipelines/)由 OpenSearch Ingestion 设置，在管道配置中不受支持：
+ `workers`
+ `delay`

### Grok 处理器
<a name="ingestion-params-grok"></a>

以下 [Grok](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/grok/) 处理器选项不受支持：
+ `patterns_directories`
+ `patterns_files_glob`

### HTTP 源
<a name="ingestion-params-http"></a>

[HTTP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/) 源插件具有以下要求和限制：
+ `path` 选项为*必填项*。路径是字符串（例如，`/log/ingest`），它表示日志摄取的 URI 路径。此路径定义用于向管道发送数据的 URI。例如 `https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest`。路径必须以斜杠 (/) 开头，而且可以包含特殊字符 ‘-'、‘\$1’、‘.’、‘/’以及 `${pipelineName}` 占位符。
+ 以下 HTTP 源选项由 OpenSearch Ingestion 设置，在管道配置中不受支持：
  + `port`
  + `ssl`
  + `ssl_key_file`
  + `ssl_certificate_file`
  + `aws_region`
  + `authentication`
  + `unauthenticated_health_check`
  + `use_acm_certificate_for_ssl`
  + `thread_count`
  + `request_timeout`
  + `max_connection_count`
  + `max_pending_requests`
  + `health_check_service`
  + `acm_private_key_password`
  + `acm_certificate_timeout_millis`
  + `acm_certificate_arn`

### OpenSearch 水槽
<a name="ingestion-params-opensearch"></a>

s [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/opensearch/)ink 插件具有以下要求和限制。
+ `aws` 选项为*必填项*，必须包含以下选项：
  + `sts_role_arn`
  + `region`
  + `hosts`
  + `serverless`（如果接收器是 OpenSearch 无服务器集合）
+ `sts_role_arn` 选项必须指向 YAML 定义文件中每个接收器的同一角色。
+ 该`hosts`选项必须指定 OpenSearch 服务域端点或 OpenSearch 无服务器集合端点。您不能为域指定[自定义端点](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/customendpoint.html)；必须是标准端点。
+ 如果 `hosts` 选项为无服务器集合端点，则必须将 `serverless` 选项设置为 `true`。此外，如果 YAML 定义文件包含 `index_type` 选项，则必须将其设置为 `management_disabled`，否则验证将失败。
+ 不支持以下选项：
  + `username`
  + `password`
  + `cert`
  + `proxy`
  + `dlq_file` - 如果要将失败事件卸载到死信队列 (DLQ)，则必须使用 `dlq` 选项并指定 S3 存储桶。
  + `ism_policy_file`
  + `socket_timeout`
  + `template_file`
  + `insecure`

### OTel 指标来源、 OTel 跟踪源和 OTel 日志源
<a name="ingestion-params-otel-source"></a>

[OTel 指标](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-metrics-source/)源、[OTel 跟踪](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-trace/)源和[OTel 日志](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-logs-source/)源插件具有以下要求和限制：
+ `path` 选项为*必填项*。路径是字符串（例如，`/log/ingest`），它表示日志摄取的 URI 路径。此路径定义用于向管道发送数据的 URI。例如 `https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest`。路径必须以斜杠 (/) 开头，而且可以包含特殊字符 ‘-'、‘\$1’、‘.’、‘/’以及 `${pipelineName}` 占位符。
+ 以下选项由 OpenSearch Ingestion 设置，在管道配置中不受支持：
  + `port`
  + `ssl`
  + `sslKeyFile`
  + `sslKeyCertChainFile`
  + `authentication`
  + `unauthenticated_health_check`
  + `useAcmCertForSSL`
  + `unframed_requests`
  + `proto_reflection_service`
  + `thread_count`
  + `request_timeout`
  + `max_connection_count`
  + `acmPrivateKeyPassword`
  + `acmCertIssueTimeOutMillis`
  + `health_check_service`
  + `acmCertificateArn`
  + `awsRegion`

### OTel 跟踪组处理器
<a name="ingestion-params-otel-trace"></a>

[OTel 跟踪组](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-trace-group/)处理器具有以下要求和限制：
+ `aws` 选项为*必填项*，必须包含以下选项：
  + `sts_role_arn`
  + `region`
  + `hosts`
+ 该`sts_role_arn`选项指定的角色与您在 OpenSearch 接收器配置中指定的管道角色相同。
+ 不支持 `username`、`password`、`cert` 和 `insecure` 选项。
+ `aws_sigv4` 选项为必填项，必须设置为 true。
+ 不支持 sin OpenSearch k 插件中的`serverless`选项。Otel 跟踪组处理器目前不适用于 OpenSearch 无服务器集合。
+ 管道配置主体中的 `otel_trace_group` 处理器数量不能超过 8 个。

### OTel 跟踪处理器
<a name="ingestion-params-otel-raw"></a>

[OTel 跟踪](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/otel-traces/)处理器具有以下要求和限制：
+ `trace_flush_interval` 选项的值不能超过 300 秒。

### 服务映射处理器
<a name="ingestion-params-servicemap"></a>

[服务映射](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/service-map/)处理器具有以下要求和限制：
+ `window_duration` 选项的值不能超过 300 秒。

### S3 源
<a name="ingestion-params-s3"></a>

[S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/s3/) 源插件具有以下要求和限制：
+ `aws` 选项为*必填项*，必须包含 `region` 和 `sts_role_arn` 选项。
+ `records_to_accumulate` 选项的值不能超过 200。
+ `maximum_messages` 选项的值不能超过 10。
+ 如果指定，则 `disable_bucket_ownership_validation` 选项必须设置为 false。
+ 如果指定，则 `input_serialization` 选项必须设置为 `parquet`。