Unterstützte Plugins und Optionen für Amazon OpenSearch Ingestion-Pipelines - OpenSearch Amazon-Dienst
Unterstützte Plug-insStateless versus statusbehaftete ProzessorenKonfigurationsanforderungen und Einschränkungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Unterstützte Plugins und Optionen für Amazon OpenSearch Ingestion-Pipelines

Amazon OpenSearch Ingestion unterstützt eine Teilmenge von Quellen, Prozessoren und Senken innerhalb von Open Source Data Prepper. OpenSearch Darüber hinaus gibt es einige Einschränkungen, die OpenSearch Ingestion den verfügbaren Optionen für jedes unterstützte Plugin auferlegt. In den folgenden Abschnitten werden die Plugins und die zugehörigen Optionen beschrieben, die OpenSearch Ingestion unterstützt.

Anmerkung

OpenSearch Ingestion unterstützt keine Puffer-Plugins, da es automatisch einen Standardpuffer konfiguriert. Sie erhalten einen Validierungsfehler, wenn Sie einen Puffer in Ihre Pipeline-Konfiguration aufnehmen.

Unterstützte Plug-ins

OpenSearch Ingestion unterstützt die folgenden Data Prepper-Plugins:

Quellen:

Prozessoren:

Senkt:

  • OpenSearch(unterstützt OpenSearch Service, OpenSearch Serverless und Elasticsearch 6.8 oder höher)

  • S3

Sink-Codecs:

Stateless versus statusbehaftete Prozessoren

Zustandslose Prozessoren führen Operationen wie Transformationen und Filterung durch, während statusbehaftete Prozessoren Operationen wie Aggregationen ausführen, die sich an das Ergebnis der vorherigen Ausführung erinnern. OpenSearch Ingestion unterstützt die Stateful-Prozessoren Aggregate und Service-MAP. Alle anderen unterstützten Prozessoren sind statuslos.

Für Pipelines, die nur statuslose Prozessoren enthalten, liegt die maximale Kapazitätsgrenze bei 96 Ingestion. OCUs Wenn eine Pipeline statusbehaftete Prozessoren enthält, beträgt die maximale Kapazitätsgrenze 48 Ingestion. OCUs Wenn für eine Pipeline jedoch die persistente Pufferung aktiviert ist, kann sie maximal 384 Ingestion haben, wenn sie nur statusfreie Prozessoren enthält, oder 192 OCUs Ingestion OCUs , wenn sie Stateful-Prozessoren enthält. Weitere Informationen finden Sie unter Skalierung von Pipelines in Amazon OpenSearch Ingestion.

End-to-end Die Bestätigung wird nur für statuslose Prozessoren unterstützt. Weitere Informationen finden Sie unter End-to-end Bestätigung.

Konfigurationsanforderungen und Einschränkungen

Sofern unten nicht anders angegeben, sind alle in der Data Prepper-Konfigurationsreferenz für die oben aufgeführten unterstützten Plugins beschriebenen Optionen in OpenSearch Ingestion-Pipelines zulässig. In den folgenden Abschnitten werden die Einschränkungen erläutert, die OpenSearch Ingestion bestimmten Plugin-Optionen auferlegt.

Anmerkung

OpenSearch Ingestion unterstützt keine Puffer-Plugins, da es automatisch einen Standardpuffer konfiguriert. Sie erhalten einen Validierungsfehler, wenn Sie einen Puffer in Ihre Pipeline-Konfiguration aufnehmen.

Viele Optionen werden intern von OpenSearch Ingestion konfiguriert und verwaltet, z. B. authentication und. acm_certificate_arn Andere Optionen, wie z. B. thread_count und, haben Auswirkungen auf die Leistungrequest_timeout, wenn sie manuell geändert werden. Daher werden diese Werte intern festgelegt, um eine optimale Leistung Ihrer Pipelines sicherzustellen.

Schließlich können einige Optionen nicht an OpenSearch Ingestion übergeben werden, z. B. ism_policy_file undsink_template, da es sich bei der Ausführung im Open-Source-Data Prepper um lokale Dateien handelt. Diese Werte werden nicht unterstützt.

Allgemeine Pipeline-Optionen

Die folgenden allgemeinen Pipeline-Optionen werden von OpenSearch Ingestion festgelegt und in Pipeline-Konfigurationen nicht unterstützt:

  • workers

  • delay

Grok-Prozessor

Die folgenden Grok-Prozessoroptionen werden nicht unterstützt:

  • patterns_directories

  • patterns_files_glob

HTTP-Quelle

Für das HTTP-Quell-Plugin gelten die folgenden Anforderungen und Einschränkungen:

  • Die path Option ist erforderlich. Der Pfad ist eine Zeichenfolge wie/log/ingest, die den URI-Pfad für die Protokollaufnahme darstellt. Dieser Pfad definiert den URI, den Sie verwenden, um Daten an die Pipeline zu senden. Beispiel, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. Der Pfad muss mit einem Schrägstrich (/) beginnen und kann die Sonderzeichen '-', '_', 'enthalten . 'und'/'sowie der ${pipelineName} Platzhalter.

  • Die folgenden HTTP-Quelloptionen werden von OpenSearch Ingestion festgelegt und in Pipeline-Konfigurationen nicht unterstützt:

    • port

    • ssl

    • ssl_key_file

    • ssl_certificate_file

    • aws_region

    • authentication

    • unauthenticated_health_check

    • use_acm_certificate_for_ssl

    • thread_count

    • request_timeout

    • max_connection_count

    • max_pending_requests

    • health_check_service

    • acm_private_key_password

    • acm_certificate_timeout_millis

    • acm_certificate_arn

OpenSearch sinken

Das OpenSearchSink-Plugin hat die folgenden Anforderungen und Einschränkungen.

  • Die aws Option ist erforderlich und muss die folgenden Optionen enthalten:

    • sts_role_arn

    • region

    • hosts

    • serverless(wenn es sich bei der Senke um eine OpenSearch serverlose Sammlung handelt)

  • Die sts_role_arn Option muss für jede Senke innerhalb einer YAML-Definitionsdatei auf dieselbe Rolle verweisen.

  • Die hosts Option muss einen OpenSearch Dienstdomänenendpunkt oder einen OpenSearch serverlosen Sammlungsendpunkt angeben. Sie können keinen benutzerdefinierten Endpunkt für eine Domäne angeben. Es muss sich um den Standardendpunkt handeln.

  • Wenn es sich bei der hosts Option um einen serverlosen Erfassungsendpunkt handelt, müssen Sie die serverless Option auf true setzen. Wenn Ihre YAML-Definitionsdatei die index_type Option enthält, muss sie außerdem auf gesetzt seinmanagement_disabled, andernfalls schlägt die Validierung fehl.

  • Die folgenden Optionen werden nicht unterstützt:

    • username

    • password

    • cert

    • proxy

    • dlq_file— Wenn Sie fehlgeschlagene Ereignisse in eine Warteschlange mit unerlaubtem Schreiben (DLQ) verschieben möchten, müssen Sie die dlq Option verwenden und einen S3-Bucket angeben.

    • ism_policy_file

    • socket_timeout

    • template_file

    • insecure

OTel Metrik-Quelle, OTel Trace-Quelle und OTel Log-Quelle

Für die Plug-ins „OTel Metrikquelle“, „OTel Trace-Quelle“ und „OTel Logquelle“ gelten die folgenden Anforderungen und Einschränkungen:

  • Die path Option ist erforderlich. Der Pfad ist eine Zeichenfolge wie/log/ingest, die den URI-Pfad für die Protokollaufnahme darstellt. Dieser Pfad definiert den URI, den Sie verwenden, um Daten an die Pipeline zu senden. Beispiel, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. Der Pfad muss mit einem Schrägstrich (/) beginnen und kann die Sonderzeichen '-', '_', 'enthalten . 'und'/'sowie der ${pipelineName} Platzhalter.

  • Die folgenden Optionen werden von OpenSearch Ingestion festgelegt und in Pipeline-Konfigurationen nicht unterstützt:

    • port

    • ssl

    • sslKeyFile

    • sslKeyCertChainFile

    • authentication

    • unauthenticated_health_check

    • useAcmCertForSSL

    • unframed_requests

    • proto_reflection_service

    • thread_count

    • request_timeout

    • max_connection_count

    • acmPrivateKeyPassword

    • acmCertIssueTimeOutMillis

    • health_check_service

    • acmCertificateArn

    • awsRegion

OTel Prozessor für Trace-Gruppen

Für den OTel Trace-Gruppenprozessor gelten die folgenden Anforderungen und Einschränkungen:

  • Die aws Option ist erforderlich und muss die folgenden Optionen enthalten:

    • sts_role_arn

    • region

    • hosts

  • Die sts_role_arn Option gibt dieselbe Rolle an wie die Pipeline-Rolle, die Sie in der OpenSearch Senkenkonfiguration angeben.

  • Die insecure Optionen usernamepassword,cert, und werden nicht unterstützt.

  • Die aws_sigv4 Option ist erforderlich und muss auf true gesetzt werden.

  • Die serverless Option im OpenSearch Sink-Plugin wird nicht unterstützt. Der Otel Trace Group Processor funktioniert derzeit nicht mit OpenSearch serverlosen Sammlungen.

  • Die Anzahl der otel_trace_group Prozessoren im Pipeline-Konfigurationstext darf 8 nicht überschreiten.

OTel Prozessor verfolgen

Für den OTel Trace-Prozessor gelten die folgenden Anforderungen und Einschränkungen:

  • Der Wert der trace_flush_interval Option darf 300 Sekunden nicht überschreiten.

Service-Map-Prozessor

Für den Service-MAP-Prozessor gelten die folgenden Anforderungen und Einschränkungen:

  • Der Wert der window_duration Option darf 300 Sekunden nicht überschreiten.

S3-Quelle

Das S3-Quell-Plugin hat die folgenden Anforderungen und Einschränkungen:

  • Die aws Option ist erforderlich und muss sts_role_arn Optionen enthaltenregion.

  • Der Wert der records_to_accumulate Option darf 200 nicht überschreiten.

  • Der Wert der maximum_messages Option darf 10 nicht überschreiten.

  • Falls angegeben, muss die disable_bucket_ownership_validation Option auf False gesetzt werden.

  • Falls angegeben, muss die input_serialization Option auf gesetzt werdenparquet.