Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Découvrez l'architecture réseau Amazon MWAA
La section suivante décrit les principaux composants d'un environnement Amazon MWAA, ainsi que l'ensemble des AWS services auxquels chaque environnement s'intègre pour gérer ses ressources, garantir la sécurité de vos données et assurer la surveillance et la visibilité de vos flux de travail.
Rubriques
Composants Amazon MWAA
Les environnements Amazon MWAA se composent des quatre composants principaux suivants :
-
Planificateur : analyse et surveille toutes vos DAGs tâches et les met en file d'attente pour exécution lorsque les dépendances d'un DAG sont satisfaites. Amazon MWAA déploie le planificateur sous la forme d'un AWS Fargate cluster avec un minimum de 2 planificateurs. Vous pouvez augmenter le nombre de planificateurs jusqu'à cinq, en fonction de votre charge de travail. Pour plus d'informations sur les classes d'environnement Amazon MWAA, reportez-vous à la section Classe d'environnement Amazon MWAA.
-
Travailleurs : une ou plusieurs tâches Fargate qui exécutent vos tâches planifiées. Le nombre de travailleurs pour votre environnement est déterminé par une plage comprise entre le nombre minimum et maximum que vous spécifiez. Amazon MWAA lance l'auto-scaling des travailleurs lorsque le nombre de tâches en attente et en cours d'exécution est supérieur à ce que vos employés actuels peuvent gérer. Lorsque la somme des tâches en cours d'exécution et en file d'attente est nulle pendant plus de deux minutes, Amazon MWAA réduit le nombre de travailleurs à son minimum. Pour plus d'informations sur la façon dont Amazon MWAA gère le dimensionnement automatique des travailleurs, consultez Amazon MWAA automatic scaling.
-
Serveur Web : exécute l'interface utilisateur Web d'Apache Airflow. Vous pouvez configurer le serveur Web avec un accès réseau privé ou public. Dans les deux cas, l'accès à vos utilisateurs d'Apache Airflow est contrôlé par la politique de contrôle d'accès que vous définissez dans AWS Identity and Access Management (IAM). Pour plus d'informations sur la configuration des politiques d'accès IAM pour votre environnement, consultez la section Accès à un environnement Amazon MWAA.
-
Base de données — Stocke les métadonnées relatives à l'environnement Apache Airflow et à vos flux de travail, y compris l'historique des exécutions du DAG. La base de données est une base de données Aurora PostgreSQL à locataire unique gérée et accessible AWS par le planificateur et les conteneurs Fargate de travail via un point de terminaison Amazon VPC sécurisé de manière privée.
Chaque environnement Amazon MWAA interagit également avec un ensemble de AWS services pour gérer diverses tâches, notamment le stockage, l'accès DAGs et les dépendances entre les tâches, la sécurisation de vos données au repos, ainsi que la journalisation et la surveillance de votre environnement. Le schéma suivant illustre les différents composants d'un environnement Amazon MWAA.
Note
Le service Amazon VPC n'est pas un VPC partagé. Amazon MWAA crée un VPC AWS propriétaire pour chaque environnement que vous créez.
-
Amazon S3 — Amazon MWAA stocke toutes les ressources de votre flux de travail DAGs, telles que les exigences et les fichiers de plug-in dans un compartiment Amazon S3. Pour plus d'informations sur la création du compartiment dans le cadre de la création de l'environnement et sur le téléchargement de vos ressources Amazon MWAA, consultez la section Créer un compartiment Amazon S3 pour Amazon MWAA dans le guide de l'utilisateur Amazon MWAA.
-
Amazon ECR — Amazon ECR héberge toutes les images Apache Airflow. Amazon MWAA prend uniquement en charge les AWS images Apache Airflow gérées.
-
AWS KMS— Amazon MWAA les utilise AWS KMS pour garantir la sécurité de vos données au repos. Par défaut, Amazon MWAA utilise des AWS KMS clés AWS gérées, mais vous pouvez configurer votre environnement pour utiliser votre propre clé gérée par le client AWS KMS . Pour plus d'informations sur l'utilisation de votre propre AWS KMS clé gérée par le client, reportez-vous à la section Clés gérées par le client pour le chiffrement des données dans le guide de l'utilisateur Amazon MWAA.
-
CloudWatch— Amazon MWAA s'intègre à Apache Airflow CloudWatch et fournit des journaux et des indicateurs CloudWatch environnementaux, ce qui vous permet de surveiller vos ressources Amazon MWAA et de résoudre les problèmes.
Connectivité
Votre environnement Amazon MWAA doit accéder à tous les AWS services auxquels il s'intègre. Le rôle d'exécution Amazon MWAA contrôle la manière dont l'accès est accordé à Amazon MWAA pour se connecter à d'autres AWS services en votre nom. Pour la connectivité réseau, vous pouvez fournir un accès Internet public à votre Amazon VPC ou créer des points de terminaison Amazon VPC. Pour plus d'informations sur la configuration des points de terminaison Amazon VPC (AWS PrivateLink) pour votre environnement, consultez la section Gestion de l'accès aux points de terminaison VPC sur Amazon MWAA dans le guide de l'utilisateur Amazon MWAA.
Amazon MWAA installe les exigences sur le planificateur et le programme de travail. Si vos besoins proviennent d'un PyPi.whlfichiers sous forme de plugins personnalisés pour votre environnement.
Lorsque vous configurez Apache Airflow en mode privé, l'interface utilisateur d'Apache Airflow n'est accessible à votre Amazon VPC que via les points de terminaison Amazon VPC.
Pour plus d'informations sur la mise en réseau, reportez-vous à la section Mise en réseau du guide de l'utilisateur Amazon MWAA.
