Fehlerbehebung: DAGs, Operatoren, Verbindungen und andere Probleme

Erfahren Sie unter, wie Sie geheime Schlüssel für Ihre Apache Airflow Airflow-Verbindung und Variablen erstellen. Konfiguration einer Apache Airflow Airflow-Verbindung mithilfe eines Geheimnisses AWS Secrets Manager

Erfahren Sie in, wie Sie den geheimen Schlüssel für eine Apache Airflow Airflow-Variable (test-variable) verwenden. Verwendung eines geheimen Schlüssels AWS Secrets Manager für eine Apache Airflow Airflow-Variable

Erfahren Sie in, wie Sie den geheimen Schlüssel für eine Apache Airflow Airflow-Verbindung (myconn) verwenden. Verwendung eines geheimen Schlüssels AWS Secrets Manager für eine Apache Airflow Airflow-Verbindung

Testen Sie Ihre DAGs benutzerdefinierten Plugins und Python-Abhängigkeiten lokal mit aws-mwaa-docker-imageson GitHub.

Fügen Sie der Datei requirements.txt die folgenden Einträge für Ihre Umgebung hinzu.

apache-airflow-providers-snowflake==1.3.0

Fügen Sie Ihrer DAG die folgenden Importe hinzu:

from airflow.providers.snowflake.operators.snowflake import SnowflakeOperator

Verbindungs-ID: snowflake_conn

Conn-Typ: Schneeflocke

Gastgeber:. <my account> <my region if not us-west-2>.snowflakecomputing.com

Schema: <my schema>

Einloggen: <my user name>

Passwort: ********

Hafen: <port, if any>

Extra:

{
						"account": "<my account>",
						"warehouse": "<my warehouse>",
						"database": "<my database>",
						"region": "<my region if not using us-west-2 otherwise omit this line>"
						}

Greifen Sie auf die Verbindungstypen zu, die Amazon MWAA in der Apache Airflow Airflow-Benutzeroberfläche unter bereitstellt. Apache Airflow Airflow-Provider-Pakete, die in Amazon MWAA-Umgebungen installiert sind

Greifen Sie in der CLI unter Befehlsreferenz für Apache Airflow CLI auf die Befehle zu, um eine Apache Airflow Airflow-Verbindung herzustellen.

Erfahren Sie unter, wie Sie Verbindungsvorlagen in der Apache Airflow Airflow-Benutzeroberfläche synonym für Verbindungstypen verwenden, die in der Apache Airflow Airflow-Benutzeroberfläche auf Amazon MWAA nicht verfügbar sind. Übersicht der Verbindungsarten

Überprüfen Sie die Apache Airflow Airflow-Konfigurationsoptionen. Stellen Sie sicher, dass die Schlüssel-Wert-Paare, die Sie als Apache Airflow Airflow-Konfigurationsoption angegeben haben, wie z. B. AWS Secrets Manager, korrekt konfiguriert wurden. Weitere Informationen finden Sie unter. Ich kann keine Verbindung zu Secrets Manager herstellen

Prüfen Sie dierequirements.txt. Stellen Sie sicher, dass das Airflow-Paket „Extras“ und andere in Ihrem aufgelistete Bibliotheken mit Ihrer Apache Airflow Airflow-Version kompatibel requirements.txt sind.

Weitere Informationen zur Angabe von Python-Abhängigkeiten in einer requirements.txt Datei finden Sie unterVerwalten von Python-Abhängigkeiten in requirements.txt.

Vergewissern Sie sich, dass Ihre VPC-Sicherheitsgruppe eingehenden Zugriff auf den Port zulässt. 5432 Dieser Port wird benötigt, um eine Verbindung zur Amazon Aurora PostgreSQL-Metadatendatenbank für Ihre Umgebung herzustellen. Nachdem diese Regel hinzugefügt wurde, geben Sie Amazon MWAA einige Minuten Zeit, dann kann der Fehler verschwinden. Weitere Informationen finden Sie unter. Sicherheit in Ihrer VPC auf Amazon MWAA

Wenn der Scheduler nicht läuft, kann das an einer Reihe von Faktoren liegen, z. B. an Fehlern bei der Installation von Abhängigkeiten oder an einem überlasteten Scheduler. Vergewissern Sie sich DAGs, dass Ihre Plugins und Anforderungen ordnungsgemäß funktionieren, indem Sie unter Logs auf die entsprechenden Protokollgruppen zugreifen. CloudWatch Weitere Informationen finden Sie unterÜberwachung und Metriken für Amazon Managed Workflows for Apache Airflow.

Möglicherweise gibt es eine große Anzahl von DAGs definierten. Reduzieren Sie die Anzahl von DAGs und führen Sie eine Aktualisierung der Umgebung durch (z. B. eine Änderung der Protokollebene), um ein Zurücksetzen zu erzwingen.

1. Airflow analysiert, DAGs ob sie aktiviert sind oder nicht. Wenn Sie mehr als 50% der Kapazität Ihrer Umgebung nutzen, könnten Sie damit beginnen, den Apache Airflow Scheduler zu überfordern. Dies führt zu einer hohen Gesamtanalysezeit in CloudWatch Metriken oder zu langen DAG-Verarbeitungszeiten in Protokollen. CloudWatch Es gibt andere Möglichkeiten, Apache Airflow Airflow-Konfigurationen zu optimieren, die nicht in diesem Handbuch behandelt werden.

2. Weitere Informationen zu den bewährten Methoden, die wir zur Optimierung der Leistung Ihrer Umgebung empfehlen, finden Sie Leistungsoptimierung für Apache Airflow auf Amazon MWAA unter.

Möglicherweise befindet sich eine große Anzahl von Aufgaben in der Warteschlange. Dies wird häufig als eine große — und wachsende — Anzahl von Aufgaben im None Bundesstaat oder als eine große Anzahl von Aufgaben in angezeigt. Queued Tasks and/or Tasks Pending CloudWatch Dies kann aus den folgenden Gründen auftreten:

1. Wenn mehr Aufgaben ausgeführt werden müssen, als die Umgebung ausführen kann, hat and/or eine große Anzahl von Aufgaben, die vor der automatischen Skalierung in die Warteschlange gestellt wurden, Zeit, die Aufgaben zu erkennen und zusätzliche Worker bereitzustellen.

2. Wenn mehr Aufgaben ausgeführt werden müssen, als eine Umgebung ausführen kann, empfehlen wir, die Anzahl der Aufgaben, die Sie DAGs gleichzeitig ausführen, zu reduzieren und so die Mindestanzahl an Apache Airflow Airflow-Workern zu and/or erhöhen.

3. Wenn es eine große Anzahl von Aufgaben gibt, die in die Warteschlange gestellt wurden, bevor Autoscaling Zeit hatte, zusätzliche Worker zu erkennen und bereitzustellen, empfehlen wir eine gestaffelte Aufgabenbereitstellung, um die Mindestanzahl von Apache Airflow Airflow-Workern and/or zu erhöhen.

4. Sie können den Befehl update-environment in der AWS Command Line Interface (AWS CLI) verwenden, um die minimale oder maximale Anzahl von Workern zu ändern, die in Ihrer Umgebung ausgeführt werden.

   aws mwaa update-environment --name MyEnvironmentName --min-workers 2 --max-workers 10

5. Weitere Informationen zu den bewährten Methoden, die wir zur Optimierung der Leistung Ihrer Umgebung empfehlen, finden Sie unter. Leistungsoptimierung für Apache Airflow auf Amazon MWAA

Wenn Ihre Aufgaben im Status „Wird ausgeführt“ hängen bleiben, können Sie die Aufgaben auch löschen oder sie als erfolgreich oder fehlgeschlagen markieren. Auf diese Weise kann die Autoscaling-Komponente für Ihre Umgebung die Anzahl der in Ihrer Umgebung ausgeführten Worker verringern. Die folgende Abbildung zeigt ein Beispiel für eine ungenutzte Aufgabe.

1. Wählen Sie den Kreis für die einzelne Aufgabe aus und klicken Sie dann auf Löschen (wie in der Abbildung gezeigt). Dadurch kann Amazon MWAA Mitarbeiter herunterskalieren. Andernfalls kann Amazon MWAA nicht feststellen, welche aktiviert oder deaktiviert DAGs sind, und kann auch nicht herunterskalieren, wenn sich noch Aufgaben in der Warteschlange befinden.

   

Weitere Informationen zum Apache Airflow Airflow-Aufgabenlebenszyklus finden Sie unter Concepts im Apache Airflow Airflow-Referenzhandbuch.

Testen Sie Ihre DAGs benutzerdefinierten Plugins und Python-Abhängigkeiten lokal mit aws-mwaa-docker-imageson GitHub.

Erstellen Sie Ihr „Transform“ -Skript.

#!/bin/bash
cp $1 $2

(optional) MacOS- und Linux-Benutzer müssen möglicherweise den folgenden Befehl ausführen, um sicherzustellen, dass das Skript ausführbar ist.

chmod 777 transform_test.sh

Fügen Sie das Skript zu Ihrer plugins.zip hinzu.

zip plugins.zip transform_test.sh

Folgen Sie den Schritten unter Laden Sie die Datei plugins.zip auf Amazon S3 hoch.

Folgen Sie den Schritten unter Spezifizieren der Version plugins.zip auf der Amazon MWAA-Konsole.

Erstellen Sie die folgende DAG.

from airflow import DAG
						from airflow.providers.amazon.aws.operators.s3_file_transform import S3FileTransformOperator
						from airflow.utils.dates import days_ago
						import os
						
						DAG_ID = os.path.basename(__file__).replace(".py", "")
						
						with DAG (dag_id=DAG_ID, schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
						file_transform = S3FileTransformOperator(
						task_id='file_transform',
						transform_script='/usr/local/airflow/plugins/transform_test.sh',
						source_s3_key='s3://amzn-s3-demo-bucket/files/input.txt',
						dest_s3_key='s3://amzn-s3-demo-bucket/files/output.txt'
						)

Folgen Sie den Schritten unter DAG-Code auf Amazon S3 hochladen.