Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Die wichtigsten Konzepte von Amazon Ingestion OpenSearch
Bevor Sie mit der Verwendung von OpenSearch Ingestion beginnen, ist es hilfreich, sich mit diesen Schlüsselkonzepten vertraut zu machen.
- Pipeline
-
Aus der Sicht der OpenSearch Aufnahme bezieht sich eine Pipeline auf einen einzelnen bereitgestellten Datensammelpunkt, den Sie in Service erstellen. OpenSearch Sie können es sich als die gesamte YAML-Konfigurationsdatei vorstellen, die eine oder mehrere Sub-Pipelines enthält. Schritte zum Erstellen einer Ingestion-Pipeline finden Sie unter. Pipelines erstellen
- Sub-pipeline
-
Sie definieren Sub-Pipelines in einer YAML-Konfigurationsdatei. Jede Subpipeline ist eine Kombination aus einer Quelle, einem Puffer, null oder mehr Prozessoren und einer oder mehreren Senken. Sie können mehrere Sub-Pipelines in einer einzigen YAML-Datei definieren, jede mit eindeutigen Quellen, Prozessoren und Senken. Um die Überwachung mit CloudWatch und anderen Diensten zu erleichtern, empfehlen wir, dass Sie einen Pipeline-Namen angeben, der sich von allen zugehörigen Sub-Pipelines unterscheidet.
Sie können mehrere Sub-Pipelines in einer einzigen YAML-Datei aneinanderreihen, sodass die Quelle für eine Subpipeline eine andere Subpipeline ist und deren Senke eine dritte Subpipeline ist. Ein Beispiel finden Sie unter Verwenden einer OpenSearch Ingestion-Pipeline mit Collector OpenTelemetry.
- Quelle
-
Die Eingabekomponente einer Subpipeline. Sie definiert den Mechanismus, durch den eine Pipeline Datensätze verbraucht. Die Quelle kann Ereignisse verarbeiten, indem sie sie entweder über HTTPS empfängt oder von externen Endpunkten wie Amazon S3 liest. Es gibt zwei Arten von Quellen: Push-basierte und pull-basierte Quellen. Push-based Quellen wie HTTP
- und OTel-Logs https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-logs-source/ streamen Datensätze an Aufnahmeendpunkte. Pull-basedQuellen wie OTel Trace und S3 ziehen Daten aus der Quelle ab. - Prozessoren
-
Zwischenverarbeitungseinheiten, die Datensätze filtern, transformieren und in ein gewünschtes Format anreichern können, bevor sie in der Datenbank veröffentlicht werden. Der Prozessor ist eine optionale Komponente einer Pipeline. Wenn Sie keinen Prozessor definieren, werden Datensätze in dem in der Quelle definierten Format veröffentlicht. Sie können mehr als einen Prozessor haben. In einer Pipeline werden Prozessoren in der Reihenfolge ausgeführt, in der Sie sie definieren.
- Sink
-
Die Ausgabekomponente einer Subpipeline. Sie definiert ein oder mehrere Ziele, für die eine Subpipeline Datensätze veröffentlicht. OpenSearch Ingestion unterstützt OpenSearch Servicedomänen als Senken. Es unterstützt auch Sub-Pipelines als Senken. Das bedeutet, dass Sie mehrere Sub-Pipelines in einer einzigen OpenSearch Ingestion-Pipeline (YAML-Datei) aneinanderreihen können. Self-managed OpenSearch Cluster werden nicht als Senken unterstützt.
- Buffer
-
Der Teil eines Prozessors, der als Schicht zwischen der Quelle und der Senke fungiert. Sie können einen Puffer in Ihrer Pipeline nicht manuell konfigurieren. OpenSearch Bei der Aufnahme wird eine Standardpufferkonfiguration verwendet.
- Route
-
Der Teil eines Prozessors, der es Pipeline-Autoren ermöglicht, nur Ereignisse, die bestimmte Bedingungen erfüllen, an verschiedene Senken zu senden.
Eine gültige Sub-Pipeline-Definition muss eine Quelle und eine Senke enthalten. Weitere Informationen zu jedem dieser Pipeline-Elemente finden Sie in der Konfigurationsreferenz.
