Ajouter ou mettre à jour DAGs - Amazon Managed Workflows for Apache Airflow
PrérequisFonctionnementQu'est-ce qui a changé ?Tests DAGs à l'aide de l'utilitaire Amazon MWAA CLIChargement du code DAG sur Amazon S3Spécifier le chemin d'accès à un DAGs dossierAccès aux modifications sur votre interface utilisateur Apache AirflowQuelle est la prochaine étape ?

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Ajouter ou mettre à jour DAGs

Les graphes acycliques dirigés (DAGs) sont définis dans un fichier Python qui définit la structure du DAG sous forme de code. Vous pouvez utiliser la console Amazon S3 AWS CLI ou la console Amazon S3 pour effectuer le téléchargement DAGs dans votre environnement. Cette rubrique décrit les étapes pour ajouter ou mettre à jour Apache Airflow DAGs dans votre environnement Amazon Managed Workflows for Apache Airflow à l'aide dags du dossier de votre compartiment Amazon S3.

Prérequis

Vous aurez besoin des éléments suivants avant de pouvoir effectuer les étapes indiquées sur cette page.

  • Autorisations — Votre administrateur Compte AWS doit vous avoir accordé l'accès à la politique de contrôle MWAAFull ConsoleAccess d'accès Amazon pour votre environnement. En outre, votre environnement Amazon MWAA doit être autorisé par votre rôle d'exécution à accéder aux AWS ressources utilisées par votre environnement.

  • Accès : si vous avez besoin d'accéder à des référentiels publics pour installer des dépendances directement sur le serveur Web, votre environnement doit être configuré avec un accès au serveur Web du réseau public. Pour plus d’informations, consultez Modes d'accès Apache Airflow.

  • Configuration Amazon S3 — Le compartiment Amazon S3 utilisé pour stocker vos DAGs plugins personnalisés et vos dépendances Python requirements.txt doit être configuré avec l'accès public bloqué et le versionnage activé. plugins.zip

Fonctionnement

Un graphe acyclique dirigé (DAG) est défini dans un seul fichier Python qui définit la structure du DAG sous forme de code. Il comprend les éléments suivants :

Pour exécuter une plateforme Apache Airflow dans un environnement Amazon MWAA, vous devez copier la définition de votre DAG dans le dags dossier de votre bucket de stockage. Par exemple, le dossier DAG de votre bucket de stockage doit ressembler à :

Exemple dossier DAG
dags/
└ dag_def.py

Amazon MWAA synchronise automatiquement les objets nouveaux et modifiés de votre compartiment Amazon S3 avec le planificateur Amazon MWAA et le /usr/local/airflow/dags dossier des conteneurs de travail toutes les 30 secondes, préservant ainsi la hiérarchie des fichiers de la source Amazon S3, quel que soit le type de fichier. L'heure à laquelle la nouvelle DAGs prise doit être répertoriée dans votre interface utilisateur d'Apache Airflow est contrôlée par. scheduler.dag_dir_list_interval Les modifications apportées à l'existant DAGs seront prises en compte lors de la prochaine boucle de traitement DAG.

Note

Il n'est pas nécessaire d'inclure le fichier airflow.cfg de configuration dans votre dossier DAG. Vous pouvez remplacer les configurations par défaut d'Apache Airflow depuis la console Amazon MWAA. Pour plus d’informations, consultez Utilisation des options de configuration d'Apache Airflow sur Amazon MWAA.

Qu'est-ce qui a changé ?

Pour consulter les modifications apportées à une version spécifique d'Apache Airflow, reportez-vous à la page des notes de mise à jour.

Tests DAGs à l'aide de l'utilitaire Amazon MWAA CLI

  • L'utilitaire d'interface de ligne de commande (CLI) reproduit localement un environnement Amazon Managed Workflows pour Apache Airflow.

  • La CLI crée localement une image de conteneur Docker similaire à une image de production Amazon MWAA. Cela vous permet d'exécuter un environnement Apache Airflow local pour développer et tester DAGs des plugins personnalisés et des dépendances avant le déploiement sur Amazon MWAA.

  • Pour exécuter la CLI, reportez-vous à la section aws-mwaa-docker-imageson GitHub.

Chargement du code DAG sur Amazon S3

Vous pouvez utiliser la console Amazon S3 ou le AWS Command Line Interface (AWS CLI) pour télécharger le code DAG dans votre compartiment Amazon S3. Les étapes suivantes supposent que vous téléchargez du code (.py) dans un dossier nommé dags dans votre compartiment Amazon S3.

À l'aide du AWS CLI

The AWS Command Line Interface (AWS CLI) est un outil open source qui vous permet d'interagir avec les AWS services à l'aide de commandes dans votre shell de ligne de commande. Pour effectuer les étapes indiquées sur cette page, vous avez besoin des éléments suivants :

Pour effectuer un téléchargement à l'aide du AWS CLI

  1. Utilisez la commande suivante pour répertorier tous vos compartiments Amazon S3.

    aws s3 ls

  2. Utilisez la commande suivante pour répertorier les fichiers et les dossiers du compartiment Amazon S3 de votre environnement.

    aws s3 ls s3://YOUR_S3_BUCKET_NAME

  3. La commande suivante télécharge un dag_def.py fichier dags dans un dossier. 

    aws s3 cp dag_def.py s3://amzn-s3-demo-bucket/dags/

    Si aucun dossier nommé dags n'existe déjà dans votre compartiment Amazon S3, cette commande crée le dags dossier et télécharge le fichier nommé dag_def.py dans le nouveau dossier.

Utilisation de la console Amazon S3

La console Amazon S3 est une interface utilisateur Web qui vous permet de créer et de gérer les ressources de votre compartiment Amazon S3. Les étapes suivantes supposent que vous avez un DAGs dossier nommédags.

Pour charger à l'aide de la console Amazon S3

  1. Ouvrez la page Environnements sur la console Amazon MWAA.

  2. Choisissez un environnement.

  3. Sélectionnez le lien du compartiment S3 dans le code DAG du volet S3 pour ouvrir votre compartiment de stockage dans la console.

  4. Choisissez le dossier dags.

  5. Choisissez Charger.

  6. Choisissez Ajouter un fichier.

  7. Sélectionnez la copie locale de votre fichierdag_def.py, puis choisissez Upload.

Spécifier le chemin d'accès à votre DAGs dossier sur la console Amazon MWAA (pour la première fois)

Les étapes suivantes supposent que vous spécifiez le chemin d'accès à un dossier nommé dans votre compartiment Amazon S3dags.

  1. Ouvrez la page Environnements sur la console Amazon MWAA.

  2. Choisissez l'environnement dans lequel vous souhaitez exécuter DAGs.

  3. Choisissez Modifier.

  4. Dans le code DAG dans le volet Amazon S3, choisissez Browse S3 à côté du champ du dossier DAG.

  5. Sélectionnez votre dags dossier.

  6. Choisissez Choisir.

  7. Choisissez Suivant, Mettre à jour l'environnement.

Accès aux modifications sur votre interface utilisateur Apache Airflow

Vous avez besoin d'Politique d'accès à l'interface utilisateur d'Apache Airflow : Amazon MWAAWeb ServerAccessautorisations pour que votre Compte AWS identifiant AWS Identity and Access Management (IAM) puisse accéder à votre interface utilisateur Apache Airflow.

Pour accéder à votre interface utilisateur Apache Airflow

  1. Ouvrez la page Environnements sur la console Amazon MWAA.

  2. Choisissez un environnement.

  3. Choisissez Open Airflow UI.

Quelle est la prochaine étape ?

Testez vos DAGs plugins personnalisés et vos dépendances Python localement à l'aide de aws-mwaa-docker-imageson GitHub.