Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Amazon OpenSearch Ingestion-Pipelines erstellen Eine *Pipeline* ist der Mechanismus, den Amazon OpenSearch Ingestion verwendet, um Daten von ihrer *Quelle* (wo die Daten herkommen) zu ihrer *Senke* (wo die Daten hingehen) zu verschieben. Bei OpenSearch Ingestion ist die Senke immer eine einzelne Amazon OpenSearch Service-Domain, während die Quelle Ihrer Daten Clients wie Amazon S3, Fluent Bit oder Collector sein kann. OpenTelemetry Weitere Informationen finden Sie in der Dokumentation unter [Pipelines.](https://opensearch.org/docs/latest/clients/data-prepper/pipelines/) OpenSearch **Topics** + [Voraussetzungen und erforderliche IAM-Rolle](#manage-pipeline-prerequisites) + [Erforderliche IAM-Berechtigungen](#create-pipeline-permissions) + [Angabe der Pipeline-Version](#pipeline-version) + [Angeben des Aufnahmepfads](#pipeline-path) + [Pipelines erstellen](#create-pipeline) + [Den Status der Pipeline-Erstellung verfolgen](#get-pipeline-progress) + [Mit Blueprints arbeiten](pipeline-blueprint.md) ## Voraussetzungen und erforderliche IAM-Rolle Um eine OpenSearch Ingestion-Pipeline zu erstellen, benötigen Sie die folgenden Ressourcen: + Eine IAM-Rolle, die so genannte *Pipeline-Rolle*, die OpenSearch Ingestion übernimmt, um in die Senke zu schreiben. Sie können diese Rolle im Voraus erstellen, oder Sie können festlegen, dass OpenSearch Ingestion sie automatisch erstellt, während Sie die Pipeline erstellen. + Eine OpenSearch Service-Domain oder eine OpenSearch Serverless-Sammlung, die als Senke fungiert. Wenn Sie in eine Domain schreiben, muss sie OpenSearch 1.0 oder höher oder Elasticsearch 7.4 oder höher ausführen. Die Senke muss über eine Zugriffsrichtlinie verfügen, die Ihrer IAM-Pipeline-Rolle die entsprechenden Berechtigungen gewährt. Anweisungen zum Erstellen dieser Ressourcen finden Sie in den folgenden Themen: + [Amazon OpenSearch Ingestion-Pipelines Zugriff auf Domains gewähren](pipeline-domain-access.md) + [Amazon OpenSearch Ingestion-Pipelines Zugriff auf Sammlungen gewähren](pipeline-collection-access.md) **Anmerkung** Wenn Sie in eine Domäne schreiben, die eine differenzierte Zugriffskontrolle verwendet, müssen Sie zusätzliche Schritte ausführen. Siehe [Ordnen Sie die Pipeline-Rolle zu (nur für Domänen, die eine differenzierte Zugriffskontrolle verwenden)](pipeline-domain-access.md#pipeline-access-domain-fgac). ## Erforderliche IAM-Berechtigungen OpenSearch Ingestion verwendet die folgenden IAM-Berechtigungen für die Erstellung von Pipelines: + `osis:CreatePipeline`— Erstellen Sie eine Pipeline. + `osis:ValidatePipeline`— Prüft, ob eine Pipeline-Konfiguration gültig ist. + `iam:CreateRole`und `iam:AttachPolicy` — Lassen Sie OpenSearch Ingestion die Pipeline-Rolle automatisch für Sie erstellen. + `iam:PassRole`— Übergeben Sie die Pipeline-Rolle an OpenSearch Ingestion, damit Ingestion Daten in die Domain schreiben kann. Diese Berechtigung muss für die [Pipeline-Rollenressource gelten](pipeline-domain-access.md#pipeline-access-configure), oder einfach, `*` wenn Sie beabsichtigen, in jeder Pipeline unterschiedliche Rollen zu verwenden. Mit der folgenden Richtlinie wird beispielsweise die Berechtigung zum Erstellen einer Pipeline erteilt: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement":[ { "Effect":"Allow", "Resource":"*", "Action":[ "osis:CreatePipeline", "osis:ListPipelineBlueprints", "osis:ValidatePipeline" ] }, { "Resource":[ "arn:aws:iam::{{111122223333}}:role/{{pipeline-role}}" ], "Effect":"Allow", "Action":[ "iam:CreateRole", "iam:AttachRolePolicy", "iam:PassRole" ] } ] } ``` ------ OpenSearch Die Erfassung umfasst auch eine sogenannte Berechtigung, die erforderlich ist`osis:Ingest`, um signierte Anfragen mithilfe von [Signature Version](https://docs.aws.amazon.com/general/latest/gr/signature-version-4.html) 4 an die Pipeline zu senden. Weitere Informationen finden Sie unter [Eine Aufnahmerolle erstellen](configure-client.md#configure-client-auth). **Anmerkung** Darüber hinaus muss der erste Benutzer, der eine Pipeline in einem Konto erstellt, über Berechtigungen für die `iam:CreateServiceLinkedRole` Aktion verfügen. Weitere Informationen finden Sie unter [Pipeline-Rollenressource](pipeline-security.md#pipeline-vpc-slr). Weitere Informationen zu den einzelnen Berechtigungen finden Sie in der *Serviceautorisierungsreferenz unter [Aktionen, Ressourcen und OpenSearch Bedingungsschlüssel für](https://docs.aws.amazon.com/service-authorization/latest/reference/list_opensearchingestionservice.html) die Datenerfassung*. ## Angabe der Pipeline-Version Wenn Sie eine Pipeline mit dem Konfigurationseditor erstellen, müssen Sie die [Hauptversion von Data Prepper](https://github.com/opensearch-project/data-prepper/releases) angeben, die die Pipeline ausführen soll. Um die Version anzugeben, nehmen Sie die `version` Option in Ihre Pipeline-Konfiguration auf: ``` {{version: "2"}} log-pipeline: source: ... ``` Wenn Sie **Create** wählen, ermittelt OpenSearch Ingestion die neueste verfügbare *Nebenversion* der von Ihnen angegebenen Hauptversion und stellt die Pipeline mit dieser Version bereit. Wenn Sie beispielsweise angeben `version: "2"` und die neueste unterstützte Version von Data Prepper 2.1.1 ist, stellt OpenSearch Ingestion Ihrer Pipeline Version 2.1.1 zur Verfügung. Wir zeigen die Nebenversion, die in Ihrer Pipeline läuft, nicht öffentlich an. Um Ihre Pipeline zu aktualisieren, wenn eine neue Hauptversion von Data Prepper verfügbar ist, bearbeiten Sie die Pipeline-Konfiguration und geben Sie die neue Version an. Sie können eine Pipeline nicht auf eine frühere Version herunterstufen. **Anmerkung** OpenSearch Ingestion unterstützt neue Versionen von Data Prepper nicht sofort, sobald sie veröffentlicht werden. Es wird eine gewisse Verzögerung zwischen der Veröffentlichung einer neuen Version und der Unterstützung in Ingestion geben. OpenSearch Darüber hinaus unterstützt OpenSearch Ingestion möglicherweise bestimmte Haupt- oder Nebenversionen ausdrücklich nicht. Eine umfangreiche Liste finden Sie unter [Unterstützte Data Prepper-Versionen](ingestion.md#ingestion-supported-versions). Jedes Mal, wenn Sie eine Änderung an Ihrer Pipeline vornehmen, die eine blue/green Bereitstellung initiiert, kann OpenSearch Ingestion sie auf die neueste Nebenversion der Hauptversion aktualisieren, die derzeit für die Pipeline konfiguriert ist. Weitere Informationen finden Sie unter. [Blaue/grüne Bereitstellungen für Pipeline-Updates](update-pipeline.md#pipeline-bg) OpenSearch Durch die Aufnahme kann die Hauptversion Ihrer Pipeline nur geändert werden, wenn Sie die `version` Option in der Pipeline-Konfiguration explizit aktualisieren. ## Angeben des Aufnahmepfads Für Pull-basierte Quellen wie [OTel Trace](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-trace/) und [OTel Metriken](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sources/otel-metrics-source/) erfordert OpenSearch Ingestion die zusätzliche `path` Option in Ihrer Quellkonfiguration. Der Pfad ist eine Zeichenfolge wie`/log/ingest`, die den URI-Pfad für die Aufnahme darstellt. Dieser Pfad definiert den URI, den Sie verwenden, um Daten an die Pipeline zu senden. Angenommen, Sie geben den folgenden Pfad für eine Pipeline mit einer HTTP-Quelle an: ![Pfadfeld, das den Beispielwert /my/test_path enthält.](http://docs.aws.amazon.com/de_de/opensearch-service/latest/developerguide/images/ingestion-path.png) Wenn Sie [Daten in die Pipeline aufnehmen](configure-client.md), müssen Sie den folgenden Endpunkt in Ihrer Client-Konfiguration angeben:. `https://{{pipeline-name-abc123}}.{{us-west-2}}.osis.amazonaws.com/{{my}}/{{test_path}}` Der Pfad muss mit einem Schrägstrich (/) beginnen und kann die Sonderzeichen '-', '\_', 'enthalten . 'und'/'sowie der `${pipelineName}` Platzhalter. Wenn Sie `${pipelineName}` (wie`/${pipelineName}/test_path`) verwenden, ersetzt OpenSearch Ingestion die Variable durch den Namen der zugehörigen Subpipeline. ## Pipelines erstellen In diesem Abschnitt wird beschrieben, wie Sie OpenSearch Ingestion-Pipelines mithilfe der OpenSearch Servicekonsole und der erstellen. AWS CLI ### Konsole Um eine Pipeline zu erstellen, melden Sie sich bei der Amazon OpenSearch Service-Konsole unter [https://console.aws.amazon.com/aos/osis/home](https://console.aws.amazon.com/aos/osis/home#osis/ingestion-pipelines) an und wählen Sie Pipeline **erstellen**. Wählen Sie entweder eine leere Pipeline oder einen Konfigurations-Blueprint aus. Blueprints enthalten eine vorkonfigurierte Pipeline für eine Vielzahl gängiger Anwendungsfälle. Weitere Informationen finden Sie unter [Mit Blueprints arbeiten](pipeline-blueprint.md). Wählen Sie Blueprint **auswählen**. #### Quelle konfigurieren 1. Wenn Sie mit einer leeren Pipeline beginnen, wählen Sie eine Quelle aus dem Drop-down-Menü aus. Zu den verfügbaren Quellen können andere AWS-Services OpenTelemetry, oder HTTP gehören. Weitere Informationen finden Sie unter [Integration von Amazon OpenSearch Ingestion-Pipelines mit anderen Services und Anwendungen](configure-client.md). 1. Je nachdem, welche Quelle Sie wählen, konfigurieren Sie zusätzliche Einstellungen für die Quelle. Um beispielsweise Amazon S3 als Quelle zu verwenden, müssen Sie die URL der Amazon SQS SQS-Warteschlange aus der Pipeline angeben, die Nachrichten empfängt. Eine Liste der unterstützten Quell-Plugins und Links zu deren Dokumentation finden Sie unter. [Unterstützte Plugins und Optionen für Amazon OpenSearch Ingestion-Pipelines](pipeline-config-reference.md) 1. Für einige Quellen müssen Sie die **Quellnetzwerkoptionen** angeben. Wählen Sie entweder **VPC-Zugriff** oder **Öffentlicher Zugriff**. Fahren Sie bei Wahl von **Public access (Öffentlicher Zugriff)** mit dem nächsten Schritt fort. Wenn Sie **VPC-Zugriff** wählen, konfigurieren Sie die folgenden Einstellungen: [See the AWS documentation website for more details](http://docs.aws.amazon.com/de_de/opensearch-service/latest/developerguide/creating-pipeline.html) Weitere Informationen finden Sie unter [Konfiguration des VPC-Zugriffs für Amazon OpenSearch Ingestion-Pipelines](pipeline-security.md). 1. Wählen Sie **Weiter** aus. #### Prozessor konfigurieren Fügen Sie Ihrer Pipeline einen oder mehrere Prozessoren hinzu. Prozessoren sind Komponenten innerhalb einer Subpipeline, mit denen Sie Ereignisse filtern, transformieren und anreichern können, bevor Sie Datensätze in der Domain oder Sammelsenke veröffentlichen. Eine Liste der unterstützten Prozessoren und Links zu deren Dokumentation finden Sie unter[Unterstützte Plugins und Optionen für Amazon OpenSearch Ingestion-Pipelines](pipeline-config-reference.md). Sie können **Aktionen** auswählen und Folgendes hinzufügen: + **Bedingtes Routing — Leitet** Ereignisse auf der Grundlage bestimmter Bedingungen an verschiedene Senken weiter. Weitere Informationen finden Sie unter [Bedingtes Routing](https://opensearch.org/docs/latest/data-prepper/pipelines/pipelines/#conditional-routing). + **Subpipeline** — Jede Subpipeline ist eine Kombination aus einer einzelnen Quelle, null oder mehr Prozessoren und einer einzelnen Senke. Nur eine Subpipeline kann eine externe Quelle haben. Alle anderen müssen über Quellen verfügen, bei denen es sich um andere Unter-Pipelines innerhalb der gesamten Pipeline-Konfiguration handelt. Eine einzelne Pipeline-Konfiguration kann 1—10 Unter-Pipelines enthalten. Wählen Sie **Weiter** aus. #### Senke konfigurieren Wählen Sie das Ziel aus, an dem die Pipeline Datensätze veröffentlicht. Jede Unterpipeline muss mindestens eine Senke enthalten. Sie können einer Pipeline maximal 10 Senken hinzufügen. Konfigurieren Sie für OpenSearch Senken die folgenden Felder: | Einstellung | Description | | --- | --- | | Name der Netzwerkrichtlinie(Nur serverlose Senken) | Wenn Sie eine OpenSearch serverlose Sammlung ausgewählt haben, geben Sie einen Namen für die **Netzwerkrichtlinie** ein. OpenSearch Die Aufnahme erstellt entweder die Richtlinie, falls sie nicht existiert, oder aktualisiert sie mit einer Regel, die Zugriff auf den VPC-Endpunkt gewährt, der die Pipeline und die Sammlung verbindet. Weitere Informationen finden Sie unter [Amazon OpenSearch Ingestion-Pipelines Zugriff auf Sammlungen gewähren](pipeline-collection-access.md). | | Name des Indexes | Der Name des Indexes, an den die Pipeline Daten sendet. OpenSearch Ingestion erstellt diesen Index, falls er noch nicht vorhanden ist. | | Optionen für die Indexzuweisung | Wählen Sie aus, wie die Pipeline Dokumente und ihre Felder in der OpenSearch Senke speichert und indexiert. Wenn Sie **Dynamisches Mapping** auswählen, werden Felder automatisch OpenSearch hinzugefügt, wenn Sie ein Dokument indizieren. Wenn Sie **Zuordnung anpassen** auswählen, geben Sie eine Indexzuordnungsvorlage ein. Weitere Informationen finden Sie unter [Indexvorlagen](https://opensearch.org/docs/latest/im-plugin/index-templates/). | | DLQ aktivieren | Konfigurieren Sie eine Amazon S3 S3-Warteschlange (DLQ) für die Pipeline. Weitere Informationen finden Sie unter [Warteschlangen für unzustellbare Briefe](osis-features-overview.md#osis-features-dlq). | | Zusätzliche Einstellungen | Konfigurieren Sie erweiterte Optionen für die OpenSearch Spüle. Weitere Informationen finden Sie unter [Konfigurationsoptionen](https://opensearch.org/docs/latest/data-prepper/pipelines/configuration/sinks/opensearch/#configuration-options) in der Data Prepper-Dokumentation. | Um eine Amazon S3-Senke **hinzuzufügen, wählen Sie Add sink** und **Amazon S3**. Weitere Informationen finden Sie unter [Amazon S3 als Ziel](configure-client-s3.md#s3-destination). Wählen Sie **Weiter** aus. #### Pipeline konfigurieren Konfigurieren Sie die folgenden zusätzlichen Pipeline-Einstellungen: | Einstellung | Description | | --- | --- | | Name der Pipeline | Ein eindeutiger Name für die Pipeline. | | Persistenter Puffer | Ein persistenter Puffer speichert Ihre Daten in einem festplattenbasierten Puffer in mehreren Availability Zones. Weitere Informationen finden Sie unter [Dauerhafte Pufferung](osis-features-overview.md#persistent-buffering).
Wenn Sie die persistente Pufferung aktivieren, wählen Sie den AWS Key Management Service Schlüssel zum Verschlüsseln der Pufferdaten aus. | | Kapazität der Pipeline | Die minimale und maximale Pipeline-Kapazität in OpenSearch Ingestion-Recheneinheiten ()OCUs. Weitere Informationen finden Sie unter [Skalierung von Pipelines in Amazon OpenSearch Ingestion](ingestion-scaling.md). | | Rolle „Pipeline“ | Die IAM-Rolle, die die erforderlichen Berechtigungen für die Pipeline bereitstellt, um in die Senke zu schreiben und aus Pull-basierten Quellen zu lesen. Sie können die Rolle selbst erstellen oder sie anhand des ausgewählten Anwendungsfalls von OpenSearch Ingestion für Sie erstellen lassen.
Weitere Informationen finden Sie unter [Rollen und Benutzer in Amazon OpenSearch Ingestion einrichten](pipeline-security-overview.md). | | Tags | Fügen Sie Ihrer Pipeline ein oder mehrere Tags hinzu. Weitere Informationen finden Sie unter [Kennzeichnen von Amazon OpenSearch Ingestion-Pipelines](tag-pipeline.md). | | Optionen für die Veröffentlichung von Protokollen | Aktivieren Sie die Veröffentlichung von Pipeline-Protokollen in Amazon CloudWatch Logs. Wir empfehlen, die Protokollveröffentlichung zu aktivieren, damit Sie Pipeline-Probleme einfacher beheben können. Weitere Informationen finden Sie unter [Überwachung von Pipeline-Protokollen](monitoring-pipeline-logs.md). | Wählen Sie **Weiter**., überprüfen Sie dann Ihre Pipeline-Konfiguration und wählen Sie **Pipeline erstellen** aus. OpenSearch Bei der Aufnahme wird ein asynchroner Prozess ausgeführt, um die Pipeline zu erstellen. Sobald der Pipeline-Status lautet`Active`, können Sie mit der Datenaufnahme beginnen. ### AWS CLI Der Befehl [create-pipeline](https://docs.aws.amazon.com/cli/latest/reference/osis/create-pipeline.html) akzeptiert die Pipeline-Konfiguration als Zeichenfolge oder in einer .yaml- oder .json-Datei. Wenn Sie die Konfiguration als Zeichenfolge angeben, muss jede neue Zeile mit einem Escapezeichen versehen werden. `\n` Beispiel: `"log-pipeline:\n source:\n http:\n processor:\n - grok:\n ...` Der folgende Beispielbefehl erstellt eine Pipeline mit der folgenden Konfiguration: + Mindestens 4 Ingestions OCUs, maximal 10 Ingestions OCUs + Bereitgestellt in einer Virtual Private Cloud (VPC) + Veröffentlichung von Protokollen aktiviert ``` aws osis create-pipeline \ --pipeline-name {{my-pipeline}} \ --min-units 4 \ --max-units 10 \ --log-publishing-options IsLoggingEnabled=true,CloudWatchLogDestination={LogGroup="{{MyLogGroup}}"} \ --vpc-options SecurityGroupIds={{{sg-12345678}},{{sg-9012345}}},SubnetIds={{subnet-1212234567834asdf}} \ --pipeline-configuration-body "file://{{pipeline-config.yaml}}" \ --pipeline-role-arn arn:aws:iam::{{1234456789012}}:role/{{pipeline-role}} ``` OpenSearch Bei der Aufnahme wird ein asynchroner Prozess ausgeführt, um die Pipeline zu erstellen. Sobald der Pipeline-Status lautet`Active`, können Sie mit der Datenaufnahme beginnen. Verwenden Sie den [GetPipeline](https://docs.aws.amazon.com/opensearch-service/latest/APIReference/API_osis_GetPipeline.html)Befehl, um den Status der Pipeline zu überprüfen. ### OpenSearch Aufnahme-API Rufen Sie den Vorgang auf, um eine OpenSearch Ingestion-Pipeline mithilfe der OpenSearch Ingestion-API zu erstellen. [CreatePipeline](https://docs.aws.amazon.com/opensearch-service/latest/APIReference/API_osis_CreatePipeline.html) Nachdem Ihre Pipeline erfolgreich erstellt wurde, können Sie Ihren Client konfigurieren und mit der Aufnahme von Daten in Ihre Service-Domain beginnen. OpenSearch Weitere Informationen finden Sie unter [Integration von Amazon OpenSearch Ingestion-Pipelines mit anderen Services und Anwendungen](configure-client.md). ## Den Status der Pipeline-Erstellung verfolgen Sie können den Status einer Pipeline verfolgen, während sie von OpenSearch Ingestion bereitgestellt und für die Datenaufnahme vorbereitet wird. ### Konsole Nachdem Sie eine Pipeline zum ersten Mal erstellt haben, durchläuft sie mehrere Phasen, während OpenSearch Ingestion sie für die Datenaufnahme vorbereitet. Um die verschiedenen Phasen der Pipeline-Erstellung zu sehen, wählen Sie den Namen der Pipeline aus, um die Seite mit den **Pipeline-Einstellungen** aufzurufen. Wählen Sie unter **Status** die Option **Details anzeigen** aus. Eine Pipeline durchläuft die folgenden Phasen, bevor sie für die Datenaufnahme verfügbar ist: + **Validierung — Überprüfung** der Pipeline-Konfiguration. Wenn diese Phase abgeschlossen ist, waren alle Validierungen erfolgreich. + **Umgebung erstellen** — Ressourcen vorbereiten und bereitstellen. Wenn diese Phase abgeschlossen ist, wurde die neue Pipeline-Umgebung erstellt. + **Pipeline bereitstellen** — Bereitstellung der Pipeline. Wenn diese Phase abgeschlossen ist, wurde die Pipeline erfolgreich bereitgestellt. + **Zustand der Pipeline überprüfen** — Überprüfung des Zustands der Pipeline. Wenn diese Phase abgeschlossen ist, wurden alle Integritätsprüfungen bestanden. + **Datenverkehr aktivieren** — Ermöglicht der Pipeline, Daten aufzunehmen. Wenn diese Phase abgeschlossen ist, können Sie mit der Aufnahme von Daten in die Pipeline beginnen. ### CLI Verwenden Sie den [get-pipeline-change-progress](https://docs.aws.amazon.com/cli/latest/reference/osis/get-pipeline-change-progress.html)Befehl, um den Status einer Pipeline zu überprüfen. Die folgende AWS CLI Anfrage überprüft den Status einer Pipeline mit dem Namen`my-pipeline`: ``` aws osis get-pipeline-change-progress \ --pipeline-name {{my-pipeline}} ``` **Antwort:** ``` { "ChangeProgressStatuses": { "ChangeProgressStages": [ { "Description": "Validating pipeline configuration", "LastUpdated": 1.671055851E9, "Name": "VALIDATION", "Status": "PENDING" } ], "StartTime": 1.671055851E9, "Status": "PROCESSING", "TotalNumberOfStages": 5 } } ``` ### OpenSearch Aufnahme-API Rufen Sie den Vorgang auf, um den Status der Pipeline-Erstellung mithilfe der OpenSearch Ingestion-API zu verfolgen. [GetPipelineChangeProgress](https://docs.aws.amazon.com/opensearch-service/latest/APIReference/API_osis_GetPipelineChangeProgress.html)