Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden der Apache Airflow Airflow-Konfigurationsoptionen auf Amazon MWAA

Apache Airflow Airflow-Konfigurationsoptionen können als Umgebungsvariablen an Ihre Amazon Managed Workflows for Apache Airflow Airflow-Umgebung angehängt werden. Sie können aus der vorgeschlagenen Drop-down-Liste wählen oder benutzerdefinierte Konfigurationsoptionen für Ihre Apache Airflow Airflow-Version auf der Amazon MWAA-Konsole angeben. In diesem Thema werden die verfügbaren Apache Airflow Airflow-Konfigurationsoptionen und die Verwendung dieser Optionen beschrieben, um die Apache Airflow Airflow-Konfigurationseinstellungen in Ihrer Umgebung zu überschreiben.

Voraussetzungen

Sie benötigen Folgendes, bevor Sie die Schritte auf dieser Seite ausführen können.

Funktionsweise

Wenn Sie eine Umgebung erstellen, fügt Amazon MWAA die Konfigurationseinstellungen, die Sie auf der Amazon MWAA-Konsole in den Airflow-Konfigurationsoptionen angeben, als Umgebungsvariablen an den Container für Ihre Umgebung an. AWS Fargate Wenn Sie eine Einstellung mit demselben Namen in verwenden, überschreiben die Optionenairflow.cfg, die Sie auf der Amazon MWAA-Konsole angeben, die Werte in. airflow.cfg

Wir stellen die airflow.cfg in der Apache Airflow-Benutzeroberfläche einer Amazon MWAA-Umgebung zwar nicht standardmäßig zur Verfügung, aber Sie können die Apache Airflow Airflow-Konfigurationsoptionen direkt auf der Amazon MWAA-Konsole ändern, einschließlich der Einstellung, dass die Konfigurationen verfügbar gemacht werden. webserver.expose_config

Verwenden von Konfigurationsoptionen zum Laden von Plugins

In Apache Airflow v2 und höher sind Plugins standardmäßig so konfiguriert, dass sie mithilfe der core.lazy_load_plugins : True Einstellung „träge“ geladen werden. Wenn Sie benutzerdefinierte Plugins verwenden, müssen Sie core.lazy_load_plugins : False als Apache Airflow Airflow-Konfigurationsoption hinzufügen, um Plugins zu Beginn jedes Airflow-Prozesses zu laden, um die Standardeinstellung zu überschreiben.

Übersicht über die Konfigurationsoptionen

Wenn Sie eine Konfiguration auf der Amazon MWAA-Konsole hinzufügen, schreibt Amazon MWAA die Konfiguration als Umgebungsvariable.

Konfigurationsoptionen für Apache Airflow

Die folgende Abbildung zeigt, wo Sie die Apache Airflow Airflow-Konfigurationsoptionen auf der Amazon MWAA-Konsole anpassen können.

Apache Airflow Airflow-Referenz

Eine Liste der von Apache Airflow unterstützten Konfigurationsoptionen finden Sie unter Configuration Reference im Apache Airflow Airflow-Referenzhandbuch. Um auf die Optionen für die Version von Apache Airflow zuzugreifen, die Sie auf Amazon MWAA ausführen, wählen Sie die Version aus der Drop-down-Liste aus.

Verwenden der Amazon MWAA-Konsole

Das folgende Verfahren führt Sie durch die Schritte zum Hinzufügen einer Airflow-Konfigurationsoption zu Ihrer Umgebung.

Konfigurationsreferenz

Der folgende Abschnitt enthält die Liste der verfügbaren Apache Airflow Airflow-Konfigurationen in der Drop-down-Liste auf der Amazon MWAA-Konsole.

E-Mail-Konfigurationen

Die folgende Liste zeigt die Konfigurationsoptionen für Airflow-E-Mail-Benachrichtigungen, die auf Amazon MWAA für Apache Airflow v2 und v3 verfügbar sind.

Wir empfehlen die Verwendung von Port 587 für SMTP-Verkehr. AWS Blockiert standardmäßig ausgehenden SMTP-Verkehr auf Port 25 aller EC2 Amazon-Instances. Wenn Sie ausgehenden Verkehr auf Port 25 senden möchten, können Sie beantragen, dass diese Einschränkung aufgehoben wird.

Aufgabenkonfigurationen

In der folgenden Liste werden die Konfigurationen angezeigt, die in der Dropdownliste für Airflow-Aufgaben auf Amazon MWAA für Apache Airflow v2 und v3 verfügbar sind.

Scheduler-Konfigurationen

Die folgende Liste zeigt die Apache Airflow Scheduler-Konfigurationen, die in der Dropdownliste auf Amazon MWAA für Apache Airflow v2 und v3 verfügbar sind.

Worker-Konfigurationen

Die folgende Liste zeigt die Airflow-Worker-Konfigurationen, die in der Drop-down-Liste auf Amazon MWAA für Apache Airflow v2 und v3 verfügbar sind.

Webserver-Konfigurationen

Die folgende Liste zeigt die Apache Airflow-Webserver-Konfigurationen, die in der Drop-down-Liste auf Amazon MWAA für Apache Airflow v2 und v3 verfügbar sind.

Konfigurationen auslösen

Die folgende Liste zeigt die Apache Airflow-Triggerkonfigurationen, die auf Amazon MWAA für Apache Airflow v2 und v3 verfügbar sind.

Beispiele und Beispielcode

Beispiel DAG

Sie können die folgende DAG verwenden, um Ihre email_backend Apache Airflow Airflow-Konfigurationsoptionen zu drucken. Um ihn als Reaktion auf Amazon MWAA-Ereignisse auszuführen, kopieren Sie den Code in den DAGs Ordner Ihrer Umgebung auf Ihrem Amazon S3 S3-Speicher-Bucket.

from airflow.decorators import dag
				from datetime import datetime
				
				def print_var(**kwargs):
				email_backend = kwargs['conf'].get(section='email', key='email_backend')
				print("email_backend")
				return email_backend
				
				@dag(
				dag_id="print_env_variable_example",
				schedule_interval=None,     
				start_date=datetime(yyyy, m, d),
				catchup=False,
				)
				def print_variable_dag():
				email_backend_test = PythonOperator(
				task_id="email_backend_test",
				python_callable=print_var,
				provide_context=True
				)
				
				print_variable_test = print_variable_dag()

Beispiel für Einstellungen für E-Mail-Benachrichtigungen

Die folgenden Apache Airflow Airflow-Konfigurationsoptionen können für ein Gmail.com-E-Mail-Konto mit einem App-Passwort verwendet werden. Weitere Informationen finden Sie im Referenzhandbuch der Gmail-Hilfe unter Mit App-Passwörtern anmelden.

Als nächstes