Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Utilisation des options de configuration d'Apache Airflow sur Amazon MWAA
Les options de configuration d'Apache Airflow peuvent être associées à votre environnement Amazon Managed Workflows for Apache Airflow en tant que variables d'environnement. Vous pouvez choisir dans la liste déroulante suggérée ou spécifier des options de configuration personnalisées pour votre version d'Apache Airflow sur la console Amazon MWAA. Cette rubrique décrit les options de configuration d'Apache Airflow disponibles et explique comment utiliser ces options pour remplacer les paramètres de configuration d'Apache Airflow dans votre environnement.
**Contents**
+ [Prérequis](#configuring-env-variables-prereqs)
+ [Comment ça marche](#configuring-env-variables-how)
+ [Utilisation des options de configuration pour charger des plugins](#configuring-2.0-airflow-override)
+ [Vue d'ensemble des options de configuration](#configuring-env-variables-customizing)
+ [Options de configuration Apache Airflow](#configuring-env-variables-airflow-ref)
+ [Référence Apache Airflow](#configuring-env-variables-reference-options)
+ [Utilisation de la console Amazon MWAA](#configuring-env-variables-console-add)
+ [Référence de configuration](#configuring-env-variables-reference)
+ [Configurations des e-mails](#configuring-env-variables-email)
+ [Configurations des tâches](#configuring-env-variables-tasks)
+ [Configurations du planificateur](#configuring-env-variables-scheduler)
+ [Configurations des travailleurs](#configuring-env-variables-workers)
+ [Configurations du serveur Web](#configuring-env-variables-webserver)
+ [Configurations du déclencheur](#configuring-env-variables-webserver)
+ [Exemples et exemple de code](#configuring-env-variables-code)
+ [Exemple de DAG](#configuring-env-variables-dag)
+ [Exemples de paramètres de notification par e-mail](#configuring-env-variables-email)
+ [Quelle est la prochaine étape ?](#configuring-env-variables-next-up)
## Prérequis
Vous aurez besoin des éléments suivants avant de pouvoir effectuer les étapes indiquées sur cette page.
+ **Autorisations** — Votre administrateur Compte AWS doit vous avoir accordé l'accès à la politique de contrôle MWAAFull ConsoleAccess d'accès [Amazon](access-policies.md#console-full-access) pour votre environnement. En outre, votre environnement Amazon MWAA doit être autorisé par votre [rôle d'exécution](mwaa-create-role.md) à accéder aux AWS ressources utilisées par votre environnement.
+ **Accès** : si vous avez besoin d'accéder à des référentiels publics pour installer des dépendances directement sur le serveur Web, votre environnement doit être configuré avec un accès au serveur Web **du réseau public**. Pour plus d’informations, consultez [Modes d’accès Apache Airflow](configuring-networking.md).
+ **Configuration Amazon S3** — Le compartiment [Amazon S3](mwaa-s3-bucket.md) utilisé pour stocker vos DAGs plugins personnalisés et vos dépendances Python `requirements.txt` doit être configuré avec l'*accès public bloqué* et le *versionnage activé*. `plugins.zip`
## Comment ça marche
Lorsque vous créez un environnement, Amazon MWAA joint les paramètres de configuration que vous spécifiez sur la console Amazon MWAA dans les **options de configuration d'Airflow** en tant que variables d'environnement au AWS Fargate conteneur de votre environnement. Si vous utilisez un paramètre du même nom dans`airflow.cfg`, les options que vous spécifiez sur la console Amazon MWAA remplacent les valeurs dans. `airflow.cfg`
Bien que nous ne les exposons pas `airflow.cfg` dans l'interface utilisateur Apache Airflow d'un environnement Amazon MWAA par défaut, vous pouvez modifier les options de configuration d'Apache Airflow directement sur la console Amazon MWAA, y compris les paramètres permettant d'exposer les configurations. `webserver.expose_config`
## Utilisation des options de configuration pour charger des plugins
Par défaut, dans Apache Airflow v2 et versions ultérieures, les plugins sont configurés pour être chargés « paresseusement » à l'aide de ce paramètre. `core.lazy_load_plugins : True` Si vous utilisez des plugins personnalisés, vous devez les ajouter `core.lazy_load_plugins : False` en tant qu'option de configuration d'Apache Airflow pour charger les plugins au début de chaque processus Airflow afin de remplacer le paramètre par défaut.
## Vue d'ensemble des options de configuration
Lorsque vous ajoutez une configuration sur la console Amazon MWAA, Amazon MWAA écrit la configuration en tant que variable d'environnement.
+ **Options répertoriées**. Vous pouvez choisir l'un des paramètres de configuration disponibles pour votre version d'Apache Airflow dans la liste déroulante. Par exemple, `dag_concurrency` : `16`. Le paramètre de configuration est traduit dans le conteneur Fargate de votre environnement sous la forme `AIRFLOW__CORE__DAG_CONCURRENCY : 16`
+ **Options personnalisées**. Vous pouvez également spécifier les options de configuration d'Airflow qui ne sont pas répertoriées pour votre version d'Apache Airflow dans la liste déroulante. Par exemple, `foo.user` : `YOUR_USER_NAME`. Le paramètre de configuration est traduit dans le conteneur Fargate de votre environnement sous la forme `AIRFLOW__FOO__USER : YOUR_USER_NAME`
### Options de configuration Apache Airflow
L'image suivante montre où vous pouvez personnaliser les **options de configuration d'Apache Airflow** sur la console Amazon MWAA.
### Référence Apache Airflow
Pour obtenir la liste des options de configuration prises en charge par Apache Airflow, reportez-vous à la section [Configuration Reference du guide de référence](https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html) *d'Apache Airflow*. Pour accéder aux options de la version d'Apache Airflow que vous utilisez sur Amazon MWAA, sélectionnez la version dans la liste déroulante.
### Utilisation de la console Amazon MWAA
La procédure suivante explique les étapes à suivre pour ajouter une option de configuration Airflow à votre environnement.
1. Ouvrez la page [Environnements](https://console.aws.amazon.com/mwaa/home#/environments) sur la console Amazon MWAA.
1. Choisissez un environnement.
1. Choisissez **Modifier**.
1. Choisissez **Suivant**.
1. Choisissez **Ajouter une configuration personnalisée** dans le volet des **options de configuration d'Airflow**.
1. Choisissez une configuration dans la liste déroulante et entrez une valeur, ou entrez une configuration personnalisée et entrez une valeur.
1. Choisissez **Ajouter une configuration personnalisée** pour chaque configuration que vous souhaitez ajouter.
1. Choisissez **Enregistrer**.
## Référence de configuration
La section suivante contient la liste des configurations Apache Airflow disponibles dans la liste déroulante de la console Amazon MWAA.
### Configurations des e-mails
La liste suivante répertorie les options de configuration des notifications par e-mail Airflow disponibles sur Amazon MWAA pour Apache Airflow v2 et v3.
Nous recommandons d'utiliser le port 587 pour le trafic SMTP. AWS Bloque par défaut le trafic SMTP sortant sur le port 25 de toutes les instances Amazon EC2 . Si vous souhaitez envoyer du trafic sortant sur le port 25, vous pouvez [demander la suppression de cette restriction](https://aws.amazon.com/premiumsupport/knowledge-center/ec2-port-25-throttle/).
| Option de configuration du flux d'air | Description | Exemple de valeur |
| --- | --- | --- |
| email.email\_backend | [L'utilitaire Apache Airflow utilisé pour les notifications par e-mail dans email\_backend.](https://airflow.apache.org/docs/apache-airflow/2.0.2/configurations-ref.html#email-backend) | airflow.utils.email.send\_email\_smtp |
| smtp.smtp\_host | Nom du serveur sortant utilisé pour l'adresse e-mail dans [smtp\_host](https://airflow.apache.org/docs/apache-airflow/2.0.2/configurations-ref.html#smtp-host). | localhost |
| smtp.smtp\_starttls | [Le protocole TLS (Transport Layer Security) est utilisé pour chiffrer le courrier électronique sur Internet dans smtp\_starttls.](https://airflow.apache.org/docs/apache-airflow/2.0.2/configurations-ref.html#smtp-starttls) | False |
| smtp.smtp\_ssl | Le protocole SSL (Secure Sockets Layer) est utilisé pour connecter le serveur et le client de messagerie dans [smtp\_ssl](https://airflow.apache.org/docs/apache-airflow/2.0.2/configurations-ref.html#smtp-ssl). | True |
| smtp.smtp\_port | Le port TCP (Transmission Control Protocol) désigné pour le serveur dans [smtp\_port](https://airflow.apache.org/docs/apache-airflow/2.0.2/configurations-ref.html#smtp-port). | 587 |
| smtp.smtp\_mail\_from | Adresse e-mail sortante dans [smtp\_mail\_from](https://airflow.apache.org/docs/apache-airflow/2.0.2/configurations-ref.html#smtp-mail-from). | myemail@domain.com |
### Configurations des tâches
La liste suivante affiche les configurations disponibles dans la liste déroulante pour les tâches Airflow sur Amazon MWAA pour Apache Airflow v2 et v3.
| Option de configuration du flux d'air | Description | Exemple de valeur |
| --- | --- | --- |
| core.default\_task\_retries | [Nombre de tentatives d'exécution d'une tâche Apache Airflow dans default\_task\_retries.](https://airflow.apache.org/docs/apache-airflow/2.0.2/configurations-ref.html#default-task-retries) | 3 |
| core.parallélisme | Nombre maximal d'instances de tâches pouvant être exécutées simultanément dans l'ensemble de l'environnement en parallèle ([parallélisme](https://airflow.apache.org/docs/apache-airflow/2.0.2/configurations-ref.html#parallelism)). | 40 |
### Configurations du planificateur
La liste suivante répertorie les configurations du planificateur Apache Airflow disponibles dans la liste déroulante d'Amazon MWAA pour Apache Airflow v2 et v3.
| Option de configuration du flux d'air | Description | Exemple de valeur |
| --- | --- | --- |
| scheduler.catchup\_by\_default | [Indique au planificateur de créer un DAG exécuté pour « rattraper » l'intervalle de temps spécifique indiqué dans catchup\_by\_default.](https://airflow.apache.org/docs/apache-airflow/2.0.2/configurations-ref.html#catchup-by-default) | False |
| scheduler.scheduler\_zombie\_task\_threshold Non disponible dans Apache Airflow v3. | [Indique au planificateur s'il convient de marquer l'instance de tâche comme ayant échoué et de replanifier la tâche dans scheduler\_zombie\_task\_threshold.](https://airflow.apache.org/docs/apache-airflow/2.0.2/configurations-ref.html#scheduler-zombie-task-threshold) | 300 |
### Configurations des travailleurs
La liste suivante affiche les configurations de travail Airflow disponibles dans la liste déroulante d'Amazon MWAA pour Apache Airflow v2 et v3.
| Option de configuration du flux d'air | Description | Exemple de valeur |
| --- | --- | --- |
| celery.worker\_autoscale | [Le nombre maximum et minimum de tâches pouvant être exécutées simultanément sur n'importe quel travailleur utilisant le [Celery Executor](https://airflow.apache.org/docs/apache-airflow/2.0.2/executor/celery.html) dans worker\_autoscale.](https://airflow.apache.org/docs/apache-airflow/2.0.2/configurations-ref.html#worker-autoscale) Les valeurs doivent être séparées par des virgules dans l'ordre suivant : `max_concurrency,min_concurrency` | 16,12 |
### Configurations du serveur Web
La liste suivante répertorie les configurations du serveur Web Apache Airflow disponibles dans la liste déroulante d'Amazon MWAA pour Apache Airflow v2 et v3.
| Option de configuration du flux d'air | Description | Exemple de valeur |
| --- | --- | --- |
| webserver.default\_ui\_timezone Non disponible dans Apache Airflow v3. | [Le paramètre de date/heure par défaut de l'interface utilisateur d'Apache Airflow dans default\_ui\_timezone.](https://airflow.apache.org/docs/apache-airflow/2.0.2/configurations-ref.html#default-ui-timezone) La définition de `default_ui_timezone` cette option ne modifie pas le fuseau horaire dans lequel votre DAGs course est prévue. Pour modifier le fuseau horaire de votre ordinateur DAGs, vous pouvez utiliser un plugin personnalisé. Pour plus d’informations, consultez [Modifier le fuseau horaire d'un DAG sur Amazon MWAA](samples-plugins-timezone.md). | Amérique/New\_York |
### Configurations du déclencheur
La liste suivante répertorie les configurations du [déclencheur Apache Airflow disponibles](https://airflow.apache.org/docs/apache-airflow/stable/authoring-and-scheduling/deferring.html) sur Amazon MWAA pour Apache Airflow v2 et v3.
| Option de configuration du flux d'air | Description | Exemple de valeur |
| --- | --- | --- |
| mwaa.triggerer\_enabled | Utilisé pour activer et désactiver le déclencheur sur Amazon MWAA. Par défaut, cette valeur indique `True`. Si ce paramètre est défini sur`False`, Amazon MWAA ne lancera aucun processus déclencheur sur les planificateurs. | True |
| triggerer.default\_capacity (dans la version 2)
triggerer.capacity (dans la version 3) | Définit le nombre de déclencheurs que chaque déclencheur peut exécuter en parallèle. Sur Amazon MWAA, cette capacité est définie pour chaque déclencheur et pour chaque planificateur, car les deux composants fonctionnent côte à côte. La valeur par défaut par planificateur est définie sur`60`,, `125` `250``500`, et `1000` pour les petites, moyennes et grandes instances, xlarge et 2xlarge, respectivement. | 125 |
## Exemples et exemple de code
### Exemple de DAG
Vous pouvez utiliser le DAG suivant pour imprimer vos options de configuration d'`email_backend`Apache Airflow. Pour l'exécuter en réponse aux événements Amazon MWAA, copiez le code dans le DAGs dossier de votre environnement sur votre compartiment de stockage Amazon S3.
```
from airflow.decorators import dag
from datetime import datetime
def print_var(**kwargs):
email_backend = kwargs['conf'].get(section='email', key='email_backend')
print("email_backend")
return email_backend
@dag(
dag_id="print_env_variable_example",
schedule_interval=None,
start_date=datetime({{yyyy}}, {{m}}, {{d}}),
catchup=False,
)
def print_variable_dag():
email_backend_test = PythonOperator(
task_id="email_backend_test",
python_callable=print_var,
provide_context=True
)
print_variable_test = print_variable_dag()
```
### Exemples de paramètres de notification par e-mail
Les options de configuration d'Apache Airflow suivantes peuvent être utilisées pour un compte de messagerie Gmail.com à l'aide d'un mot de passe d'application. Pour plus d'informations, reportez-vous à la section Se [connecter à l'aide des mots de passe des applications](https://support.google.com/mail/answer/185833?hl=en-GB) dans le *guide de référence de l'aide Gmail*.
## Quelle est la prochaine étape ?
+ Découvrez comment télécharger votre dossier DAG dans votre compartiment Amazon S3 dans[Ajouter ou mettre à jour DAGs](configuring-dag-folder.md).