Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Unterstützte Plugins und Optionen für Amazon OpenSearch Ingestion-Pipelines
[Amazon OpenSearch Ingestion unterstützt eine Teilmenge von Quellen, Prozessoren und Senken innerhalb von Open Source Data Prepper. OpenSearch ](https://opensearch.org/docs/latest/data-prepper/) Darüber hinaus gibt es einige Einschränkungen, die OpenSearch Ingestion den verfügbaren Optionen für jedes unterstützte Plugin auferlegt. In den folgenden Abschnitten werden die Plugins und die zugehörigen Optionen beschrieben, die OpenSearch Ingestion unterstützt.
**Anmerkung**
OpenSearch Ingestion unterstützt keine Puffer-Plugins, da es automatisch einen Standardpuffer konfiguriert. Sie erhalten einen Validierungsfehler, wenn Sie einen Puffer in Ihre Pipeline-Konfiguration aufnehmen.
**Topics**
+ [Unterstützte Plug-ins](#ingestion-plugins)
+ [Stateless versus statusbehaftete Prozessoren](#processor-stateful-stateless)
+ [Konfigurationsanforderungen und Einschränkungen](#ingestion-parameters)
## Unterstützte Plug-ins
OpenSearch Ingestion unterstützt die folgenden Data Prepper-Plugins:
**Quellen:**
+ [DocumentDB](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/documentdb/)
+ [DynamoDB](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/dynamo-db/)
+ [HTTP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/)
+ [Kafka](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/kafka/)
+ [Kinesis](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/kinesis/)
+ [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/opensearch/)
+ [OTel logs](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-logs-source/)
+ [OTel Metriken](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-metrics-source/)
+ [OTel verfolgen](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-trace/)
+ [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/s3/)
**Prozessoren**:
+ [Einträge hinzufügen](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/add-entries/)
+ [Aggregate](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/)
+ [Anomaliedetektor](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/anomaly-detector/)
+ [AWS Lambda](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aws-lambda/)
+ [Eintragstyp konvertieren](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/convert-entry-type/)
+ [Werte kopieren](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/copy-values/)
+ [CSV](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/csv/)
+ [Date (Datum)](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/date/)
+ [Verzögerung](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/delay/)
+ [Dekomprimieren](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/decompress/)
+ [Einträge löschen](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/delete-entries/)
+ [Sezieren](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/dissect/)
+ [Ereignisse löschen](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/drop-events/)
+ [Verflachen](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/flatten/)
+ [Geo-IP](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/geoip/)
+ [Grok](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/grok/)
+ [Schlüsselwert](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/key-value/)
+ [Liste zur Zuordnung](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/list-to-map/)
+ [Zeichenfolge in Kleinbuchstaben](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/lowercase-string/)
+ [Karte zur Liste](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/map-to-list/)
+ [Ereignis mutieren](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/mutate-event/) (Reihe von Prozessoren)
+ [Zeichenfolge mutieren](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/mutate-string/) (Reihe von Prozessoren)
+ [Verschleiern](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/obfuscate/)
+ [OTel Metriken](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-metrics/)
+ [OTel Gruppe verfolgen](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-trace-group/)
+ [OTel verfolgen](https://docs.opensearch.org/latest/data-prepper/common-use-cases/trace-analytics/)
+ [Analysieren Sie Ion](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-ion/)
+ [Analysieren Sie JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-json/)
+ [Analysieren Sie XML](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/parse-xml/)
+ [Schlüssel umbenennen](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/rename-keys/)
+ [Wählen Sie Einträge aus](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/select-entries/)
+ [ Service-Übersicht ](https://docs.opensearch.org/latest/data-prepper/common-use-cases/trace-analytics/)
+ [Veranstaltung aufteilen](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/split-event/)
+ [Zeichenfolge teilen](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/split-string/)
+ [Zeichenkettenkonverter](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/string-converter/)
+ [Ersetzen Sie die Zeichenfolge](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/substitute-string/)
+ [Peer-Forwarder verfolgen](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/trace-peer-forwarder/)
+ [Translate (Übersetzen)](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/translate/)
+ [Zeichenfolge kürzen](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/trim-string/)
+ [Kürzen](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/truncate/)
+ [Zeichenfolge in Großbuchstaben](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/uppercase-string/)
+ [Benutzeragent](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/user-agent/)
+ [Schreiben Sie JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/write-json/)
**Senkt**:
+ [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/opensearch/)(unterstützt OpenSearch Service, OpenSearch Serverless und Elasticsearch 6.8 oder höher)
+ [S3](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/)
**Sink-Codecs**:
+ [Avro](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#avro-codec)
+ [NDJSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#ndjson-codec)
+ [JSON](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#json-codec)
+ [Parkett](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/s3/#parquet-codec)
## Stateless versus statusbehaftete Prozessoren
*Zustandslose Prozessoren führen Operationen wie Transformationen und Filterung durch, während *statusbehaftete** Prozessoren Operationen wie Aggregationen ausführen, die sich an das Ergebnis der vorherigen Ausführung erinnern. OpenSearch [https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/aggregate/) Alle anderen unterstützten Prozessoren sind statuslos.
Für Pipelines, die nur statuslose Prozessoren enthalten, liegt die maximale Kapazitätsgrenze bei 96 Ingestion. OCUs Wenn eine Pipeline statusbehaftete Prozessoren enthält, beträgt die maximale Kapazitätsgrenze 48 Ingestion. OCUs Wenn für eine Pipeline jedoch die [persistente Pufferung](osis-features-overview.md#persistent-buffering) aktiviert ist, kann sie maximal 384 Ingestion haben, wenn sie nur statusfreie Prozessoren enthält, oder 192 OCUs Ingestion OCUs , wenn sie Stateful-Prozessoren enthält. Weitere Informationen finden Sie unter [Skalierung von Pipelines in Amazon OpenSearch Ingestion](ingestion-scaling.md).
End-to-end Die Bestätigung wird nur für statuslose Prozessoren unterstützt. Weitere Informationen finden Sie unter [End-to-end Bestätigung](osis-features-overview.md#osis-features-e2e).
## Konfigurationsanforderungen und Einschränkungen
Sofern unten nicht anders angegeben, sind alle in der Data Prepper-Konfigurationsreferenz für die oben aufgeführten unterstützten Plugins beschriebenen Optionen in OpenSearch Ingestion-Pipelines zulässig. In den folgenden Abschnitten werden die Einschränkungen erläutert, die OpenSearch Ingestion bestimmten Plugin-Optionen auferlegt.
**Anmerkung**
OpenSearch Ingestion unterstützt keine Puffer-Plugins, da es automatisch einen Standardpuffer konfiguriert. Sie erhalten einen Validierungsfehler, wenn Sie einen Puffer in Ihre Pipeline-Konfiguration aufnehmen.
Viele Optionen werden intern von OpenSearch Ingestion konfiguriert und verwaltet, z. B. `authentication` und. `acm_certificate_arn` Andere Optionen, wie z. B. `thread_count` und, haben Auswirkungen auf die Leistung`request_timeout`, wenn sie manuell geändert werden. Daher werden diese Werte intern festgelegt, um eine optimale Leistung Ihrer Pipelines sicherzustellen.
Schließlich können einige Optionen nicht an OpenSearch Ingestion übergeben werden, z. B. `ism_policy_file` und`sink_template`, da es sich bei der Ausführung im Open-Source-Data Prepper um lokale Dateien handelt. Diese Werte werden nicht unterstützt.
**Topics**
+ [Allgemeine Pipeline-Optionen](#ingestion-params-general)
+ [Grok-Prozessor](#ingestion-params-grok)
+ [HTTP-Quelle](#ingestion-params-http)
+ [OpenSearch sinken](#ingestion-params-opensearch)
+ [OTel Metrik-Quelle, OTel Trace-Quelle und OTel Log-Quelle](#ingestion-params-otel-source)
+ [OTel Prozessor für Trace-Gruppen](#ingestion-params-otel-trace)
+ [OTel Prozessor verfolgen](#ingestion-params-otel-raw)
+ [Service-Map-Prozessor](#ingestion-params-servicemap)
+ [S3-Quelle](#ingestion-params-s3)
### Allgemeine Pipeline-Optionen
Die folgenden [allgemeinen Pipeline-Optionen](https://docs.opensearch.org/latest/data-prepper/pipelines/pipelines/) werden von OpenSearch Ingestion festgelegt und in Pipeline-Konfigurationen nicht unterstützt:
+ `workers`
+ `delay`
### Grok-Prozessor
Die folgenden [Grok-Prozessoroptionen](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/grok/) werden nicht unterstützt:
+ `patterns_directories`
+ `patterns_files_glob`
### HTTP-Quelle
Für das [HTTP-Quell-Plugin](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/http-source/) gelten die folgenden Anforderungen und Einschränkungen:
+ Die `path` Option ist *erforderlich*. Der Pfad ist eine Zeichenfolge wie`/log/ingest`, die den URI-Pfad für die Protokollaufnahme darstellt. Dieser Pfad definiert den URI, den Sie verwenden, um Daten an die Pipeline zu senden. Beispiel, `https://log-pipeline.us-west-2.osis.amazonaws.com{{/log/ingest}}`. Der Pfad muss mit einem Schrägstrich (/) beginnen und kann die Sonderzeichen '-', '\_', 'enthalten . 'und'/'sowie der `${pipelineName}` Platzhalter.
+ Die folgenden HTTP-Quelloptionen werden von OpenSearch Ingestion festgelegt und in Pipeline-Konfigurationen nicht unterstützt:
+ `port`
+ `ssl`
+ `ssl_key_file`
+ `ssl_certificate_file`
+ `aws_region`
+ `authentication`
+ `unauthenticated_health_check`
+ `use_acm_certificate_for_ssl`
+ `thread_count`
+ `request_timeout`
+ `max_connection_count`
+ `max_pending_requests`
+ `health_check_service`
+ `acm_private_key_password`
+ `acm_certificate_timeout_millis`
+ `acm_certificate_arn`
### OpenSearch sinken
Das [OpenSearch](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/opensearch/)Sink-Plugin hat die folgenden Anforderungen und Einschränkungen.
+ Die `aws` Option ist *erforderlich* und muss die folgenden Optionen enthalten:
+ `sts_role_arn`
+ `region`
+ `hosts`
+ `serverless`(wenn es sich bei der Senke um eine OpenSearch serverlose Sammlung handelt)
+ Die `sts_role_arn` Option muss für jede Senke innerhalb einer YAML-Definitionsdatei auf dieselbe Rolle verweisen.
+ Die `hosts` Option muss einen OpenSearch Dienstdomänenendpunkt oder einen OpenSearch serverlosen Sammlungsendpunkt angeben. Sie können keinen [benutzerdefinierten Endpunkt](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/customendpoint.html) für eine Domäne angeben. Es muss sich um den Standardendpunkt handeln.
+ Wenn es sich bei der `hosts` Option um einen serverlosen Erfassungsendpunkt handelt, müssen Sie die `serverless` Option auf `true` setzen. Wenn Ihre YAML-Definitionsdatei die `index_type` Option enthält, muss sie außerdem auf gesetzt sein`management_disabled`, andernfalls schlägt die Validierung fehl.
+ Die folgenden Optionen werden nicht unterstützt:
+ `username`
+ `password`
+ `cert`
+ `proxy`
+ `dlq_file`— Wenn Sie fehlgeschlagene Ereignisse in eine Warteschlange für unzulässige Nachrichten (DLQ) auslagern möchten, müssen Sie die `dlq` Option verwenden und einen S3-Bucket angeben.
+ `ism_policy_file`
+ `socket_timeout`
+ `template_file`
+ `insecure`
### OTel Metrik-Quelle, OTel Trace-Quelle und OTel Log-Quelle
Für die Plug-ins „[OTel Metrikquelle](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-metrics-source/)“, „[OTel Trace-Quelle](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-trace/)“ und „[OTel Logquelle](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-logs-source/)“ gelten die folgenden Anforderungen und Einschränkungen:
+ Die `path` Option ist *erforderlich*. Der Pfad ist eine Zeichenfolge wie`/log/ingest`, die den URI-Pfad für die Protokollaufnahme darstellt. Dieser Pfad definiert den URI, den Sie verwenden, um Daten an die Pipeline zu senden. Beispiel, `https://log-pipeline.us-west-2.osis.amazonaws.com{{/log/ingest}}`. Der Pfad muss mit einem Schrägstrich (/) beginnen und kann die Sonderzeichen '-', '\_', 'enthalten . 'und'/'sowie der `${pipelineName}` Platzhalter.
+ Die folgenden Optionen werden von OpenSearch Ingestion festgelegt und in Pipeline-Konfigurationen nicht unterstützt:
+ `port`
+ `ssl`
+ `sslKeyFile`
+ `sslKeyCertChainFile`
+ `authentication`
+ `unauthenticated_health_check`
+ `useAcmCertForSSL`
+ `unframed_requests`
+ `proto_reflection_service`
+ `thread_count`
+ `request_timeout`
+ `max_connection_count`
+ `acmPrivateKeyPassword`
+ `acmCertIssueTimeOutMillis`
+ `health_check_service`
+ `acmCertificateArn`
+ `awsRegion`
### OTel Prozessor für Trace-Gruppen
Für den [OTel Trace-Gruppenprozessor](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/processors/otel-trace-group/) gelten die folgenden Anforderungen und Einschränkungen:
+ Die `aws` Option ist *erforderlich* und muss die folgenden Optionen enthalten:
+ `sts_role_arn`
+ `region`
+ `hosts`
+ Die `sts_role_arn` Option gibt dieselbe Rolle an wie die Pipeline-Rolle, die Sie in der OpenSearch Senkenkonfiguration angeben.
+ Die `insecure` Optionen `username``password`,`cert`, und werden nicht unterstützt.
+ Die `aws_sigv4` Option ist erforderlich und muss auf true gesetzt werden.
+ Die `serverless` Option im OpenSearch Sink-Plugin wird nicht unterstützt. Der Otel Trace Group Processor funktioniert derzeit nicht mit OpenSearch serverlosen Sammlungen.
+ Die Anzahl der `otel_trace_group` Prozessoren im Pipeline-Konfigurationstext darf 8 nicht überschreiten.
### OTel Prozessor verfolgen
Für den [OTel Trace-Prozessor](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/otel-traces/) gelten die folgenden Anforderungen und Einschränkungen:
+ Der Wert der `trace_flush_interval` Option darf 300 Sekunden nicht überschreiten.
### Service-Map-Prozessor
Für den [Service-MAP-Prozessor](https://docs.opensearch.org/latest/data-prepper/pipelines/configuration/processors/service-map/) gelten die folgenden Anforderungen und Einschränkungen:
+ Der Wert der `window_duration` Option darf 300 Sekunden nicht überschreiten.
### S3-Quelle
Das [S3-Quell-Plugin](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/s3/) hat die folgenden Anforderungen und Einschränkungen:
+ Die `aws` Option ist *erforderlich* und muss `sts_role_arn` Optionen enthalten`region`.
+ Der Wert der `records_to_accumulate` Option darf 200 nicht überschreiten.
+ Der Wert der `maximum_messages` Option darf 10 nicht überschreiten.
+ Falls angegeben, muss die `disable_bucket_ownership_validation` Option auf False gesetzt werden.
+ Falls angegeben, muss die `input_serialization` Option auf gesetzt werden`parquet`.