Risoluzione dei problemi: DAGs, Operatori, Connessioni e altri problemi

Scopri come creare chiavi segrete per la tua connessione Apache Airflow e le variabili in. Configurazione di una connessione Apache Airflow utilizzando un segreto AWS Secrets Manager

Scopri come usare la chiave segreta per una variabile test-variable Apache Airflow () in. Utilizzo di una chiave segreta AWS Secrets Manager per una variabile Apache Airflow

Scopri come utilizzare la chiave segreta per una connessione myconn Apache Airflow () in. Utilizzo di una chiave segreta AWS Secrets Manager per una connessione Apache Airflow

Testa i tuoi DAGs plugin personalizzati e le dipendenze Python localmente usando on. aws-mwaa-docker-images GitHub

Aggiungi le seguenti voci al file requirements.txt relativo al tuo ambiente.

apache-airflow-providers-snowflake==1.3.0

Aggiungete le seguenti importazioni al vostro DAG:

from airflow.providers.snowflake.operators.snowflake import SnowflakeOperator

ID connessione: snowflake_conn

Tipo di connessione: Snowflake

Ospite:. <my account> <my region if not us-west-2>.snowflakecomputing.com

Schema: <my schema>

Accedi: <my user name>

Password: ********

Porta: <port, if any>

Supplementare:

{
						"account": "<my account>",
						"warehouse": "<my warehouse>",
						"database": "<my database>",
						"region": "<my region if not using us-west-2 otherwise omit this line>"
						}

Accedi ai tipi di connessione forniti da Amazon MWAA nell'interfaccia utente di Apache Airflow all'indirizzo. Pacchetti del provider Apache Airflow installati in ambienti Amazon MWAA

Accedi ai comandi per creare una connessione Apache Airflow nella CLI all'indirizzo. Riferimento ai comandi CLI Apache Airflow

Scopri come utilizzare i modelli di connessione nell'interfaccia utente di Apache Airflow in modo intercambiabile per tipi di connessione che non sono disponibili nell'interfaccia utente di Apache Airflow su Amazon MWAA all'indirizzo. Panoramica dei tipi di connessione

Controlla le opzioni di configurazione di Apache Airflow. Verifica che le coppie chiave-valore che hai specificato come opzione di configurazione Apache Airflow, ad esempio AWS Secrets Manager, siano configurate correttamente. Per ulteriori informazioni, fare riferimento a. Non riesco a connettermi a Secrets Manager

Controlla ilrequirements.txt. Verifica che il pacchetto «extras» di Airflow e le altre librerie elencate nel tuo requirements.txt siano compatibili con la tua versione di Apache Airflow.

Esplora i modi per specificare le dipendenze Python in un requirements.txt file, consulta. Gestione delle dipendenze Python in requirements.txt

Verifica che il tuo gruppo di sicurezza VPC consenta l'accesso in entrata alla porta. 5432 Questa porta è necessaria per connettersi al database di metadati PostgreSQL di Amazon Aurora per il tuo ambiente. Dopo aver aggiunto questa regola, concedi alcuni minuti ad Amazon MWAA e l'errore può scomparire. Per ulteriori informazioni, consulta. Sicurezza nel tuo VPC su Amazon MWAA

Se lo scheduler non è in esecuzione, potrebbe essere dovuto a una serie di fattori, come errori di installazione delle dipendenze o un sovraccarico dello scheduler. Verifica che i tuoi plugin e DAGs i tuoi requisiti funzionino correttamente accedendo ai gruppi di log corrispondenti in Logs. CloudWatch Per ulteriori informazioni, fare riferimento a. Monitoraggio e parametri per Amazon Managed Workflows for Apache Airflow

Potrebbe esserci un gran numero di definizioni. DAGs Riduci il numero DAGs ed esegui un aggiornamento dell'ambiente (ad esempio modificando un livello di registro) per forzare il ripristino.

1. Airflow analizza DAGs se sono abilitati o meno. Se utilizzi più del 50% della capacità del tuo ambiente, potresti iniziare a sovraccaricare lo scheduler Apache Airflow. Ciò comporta un tempo di analisi totale elevato nelle CloudWatch metriche o lunghi tempi di elaborazione DAG nei registri. CloudWatch Esistono altri modi per ottimizzare le configurazioni di Apache Airflow che non rientrano nell'ambito di questa guida.

2. Per ulteriori informazioni sulle migliori pratiche consigliate per ottimizzare le prestazioni del proprio ambiente, consulta. Ottimizzazione delle prestazioni per Apache Airflow su Amazon MWAA

Potrebbe esserci un gran numero di attività in coda. Questo viene spesso indicato come un numero elevato e crescente di attività None nello stato o come un numero elevato di attività all'interno. Queued Tasks and/or Tasks Pending CloudWatch Ciò può verificarsi per i seguenti motivi:

1. Se ci sono più attività da eseguire rispetto a quelle che l'ambiente è in grado di eseguire, and/or un gran numero di attività che erano in coda prima della scalabilità automatica hanno il tempo di rilevarle e impiegare altri lavoratori.

2. Se ci sono più attività da eseguire rispetto a quelle che un ambiente ha la capacità di eseguire, consigliamo di ridurre il numero di attività DAGs eseguite contemporaneamente, and/or aumentando il numero minimo di lavoratori Apache Airflow.

3. Se c'è un gran numero di attività che erano in coda prima che la scalabilità automatica avesse avuto il tempo di rilevare e impiegare lavoratori aggiuntivi, consigliamo di eseguire una distribuzione graduale delle attività aumentando il numero minimo di lavoratori Apache Airflow. and/or

4. È possibile utilizzare il comando update-environment in AWS Command Line Interface (AWS CLI) per modificare il numero minimo o massimo di worker in esecuzione nel proprio ambiente.

   aws mwaa update-environment --name MyEnvironmentName --min-workers 2 --max-workers 10

5. Per ulteriori informazioni sulle best practice consigliate per ottimizzare le prestazioni del proprio ambiente, consulta. Ottimizzazione delle prestazioni per Apache Airflow su Amazon MWAA

Se le tue attività sono bloccate nello stato «in esecuzione», puoi anche cancellarle o contrassegnarle come riuscite o non riuscite. Ciò consente al componente di scalabilità automatica dell'ambiente di ridurre il numero di lavoratori che operano nell'ambiente. L'immagine seguente mostra un esempio di attività bloccata.

1. Scegli il cerchio per l'attività bloccata, quindi seleziona Cancella (come mostrato). Ciò consente ad Amazon MWAA di ridimensionare i dipendenti; in caso contrario, Amazon MWAA non è in grado di determinare quali DAGs sono abilitati o disabilitati e non può ridimensionare se ci sono ancora attività in coda.

   

Scopri di più sul ciclo di vita delle attività di Apache Airflow su Concepts nella guida di riferimento di Apache Airflow.

Testa i tuoi DAGs plugin personalizzati e le dipendenze Python localmente usando on. aws-mwaa-docker-images GitHub

Crea il tuo script di «trasformazione».

#!/bin/bash
cp $1 $2

(opzionale) Gli utenti macOS e Linux potrebbero dover eseguire il comando seguente per assicurarsi che lo script sia eseguibile.

chmod 777 transform_test.sh

Aggiungi lo script al tuo file plugins.zip.

zip plugins.zip transform_test.sh

Segui la procedura descritta in Caricare il file plugins.zip su Amazon S3.

Segui la procedura descritta in Specificare la versione di plugins.zip sulla console Amazon MWAA.

Crea il seguente DAG.

from airflow import DAG
						from airflow.providers.amazon.aws.operators.s3_file_transform import S3FileTransformOperator
						from airflow.utils.dates import days_ago
						import os
						
						DAG_ID = os.path.basename(__file__).replace(".py", "")
						
						with DAG (dag_id=DAG_ID, schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
						file_transform = S3FileTransformOperator(
						task_id='file_transform',
						transform_script='/usr/local/airflow/plugins/transform_test.sh',
						source_s3_key='s3://amzn-s3-demo-bucket/files/input.txt',
						dest_s3_key='s3://amzn-s3-demo-bucket/files/output.txt'
						)

Segui la procedura descritta in Caricamento del codice DAG su Amazon S3.