Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Modes d’accès Apache Airflow
La console Amazon Managed Workflows pour Apache Airflow contient des options intégrées permettant de configurer le routage privé, public ou à la fois public et privé vers le serveur Web Apache Airflow de votre environnement. Ce guide décrit les modes d'accès disponibles pour le serveur Web Apache Airflow sur votre environnement Amazon Managed Workflows for Apache Airflow, ainsi que les ressources supplémentaires que vous devrez configurer dans votre Amazon VPC si vous choisissez l'option réseau privé.
Table des matières
Modes d’accès Apache Airflow
Vous pouvez choisir un routage privé, public ou à la fois public et privé pour votre serveur Web Apache Airflow. Pour activer le routage privé, choisissez Réseau privé. Cela limite l'accès des utilisateurs à un serveur Web Apache Airflow au sein d'un Amazon VPC. Pour activer le routage public, choisissez Réseau public. Cela permet aux utilisateurs d’accéder au serveur Web Apache Airflow via Internet. Pour activer le routage public et privé, sélectionnez Accès au réseau public et privé. Cela permet aux utilisateurs d'accéder au serveur Web Apache Airflow via Internet tandis que les travailleurs communiquent avec le serveur Web via un point de terminaison VPC privé.
Réseau public
Le schéma architectural suivant décrit un environnement Amazon MWAA avec un serveur Web public.
Le mode d'accès au réseau public permet aux utilisateurs autorisés à accéder à la politique IAM de votre environnement via Internet à l'interface utilisateur d'Apache Airflow.
Important
Si votre environnement utilise Apache Airflow version 3 ou ultérieure avec le mode d'accès au réseau public, les utilisateurs doivent être en mesure d'accéder au serveur Web via Internet pour communiquer l'état des tâches. Si les sous-réseaux hébergeant vos collaborateurs n'ont pas accès à Internet (par exemple, des sous-réseaux privés sans passerelle NAT), les tâches DAG échoueront. Pour résoudre ce problème, passez à la version 3.2.1 ou ultérieure d'Apache Airflow et passez en mode d'accès réseau public et privé, qui achemine les communications des collaborateurs via un point de terminaison VPC privé.
L'image suivante indique où trouver l'option Réseau public sur la console Amazon MWAA.
réseau privé
Le schéma architectural suivant décrit un environnement Amazon MWAA avec un serveur Web privé.
Le mode d'accès au réseau privé limite l'accès à l'interface utilisateur d'Apache Airflow aux utilisateurs de votre Amazon VPC qui ont obtenu l'accès à la politique IAM de votre environnement.
Lorsque vous créez un environnement avec accès privé à un serveur Web, vous devez empaqueter toutes vos dépendances dans une archive Python Wheel (.whl), puis y faire référence .whl dans votrerequirements.txt. Pour obtenir des instructions sur l'empaquetage et l'installation de vos dépendances à l'aide de wheel, reportez-vous à la section Gestion des dépendances à l'aide de Python Wheel.
L'image suivante indique où trouver l'option Réseau privé sur la console Amazon MWAA.
Accès au réseau public et privé
Disponible pour Apache Airflow version 3.2.1 et versions ultérieures. Dans les versions 3 et ultérieures d'Apache Airflow, les travailleurs communiquent l'état des tâches au serveur Web via l'API Task. Si votre Amazon VPC n'a pas accès à Internet, les collaborateurs ne peuvent pas accéder à un serveur Web public, ce qui entraîne l'échec des tâches du DAG. Ce mode crée à la fois un équilibreur de charge réseau public pour l'accès du navigateur à l'interface utilisateur d'Apache Airflow et un point de terminaison VPC privé pour la communication entre le travailleur et le serveur Web, permettant aux travailleurs d'accéder au serveur Web sans accès à Internet. Reportez-vous aux diagrammes d'architecture du réseau public et du réseau privé ci-dessus pour chaque composant.
Note
Dans ce mode, l'accès du navigateur à l'interface utilisateur d'Apache Airflow passe par l'URL publique. Le point de terminaison VPC privé est utilisé par les travailleurs pour la communication interne et n'est pas destiné à l'accès au navigateur.
Vue d'ensemble des modes d'accès
Cette section décrit les points de terminaison VPC (AWS PrivateLink) créés dans votre Amazon VPC lorsque vous choisissez le mode d'accès réseau public, réseau privé ou réseau public et privé.
Mode d'accès au réseau public
Si vous avez choisi le mode d'accès au réseau public pour votre serveur Web Apache Airflow, le trafic réseau est routé publiquement sur Internet.
-
Amazon MWAA crée un point de terminaison d'interface VPC pour votre base de données de métadonnées Amazon Aurora PostgreSQL. Le point de terminaison est créé dans les zones de disponibilité mappées à vos sous-réseaux privés et est indépendant des autres. Comptes AWS
-
Amazon MWAA lie ensuite une adresse IP de vos sous-réseaux privés aux points de terminaison de l'interface. Ceci est conçu pour soutenir la meilleure pratique qui consiste à lier une adresse IP unique à chaque zone de disponibilité de l'Amazon VPC.
Mode d'accès au réseau privé
Si vous avez choisi le mode d'accès réseau privé pour votre serveur Web Apache Airflow, le trafic réseau est acheminé de manière privée au sein de votre Amazon VPC.
-
Amazon MWAA crée un point de terminaison d'interface VPC pour votre serveur Web Apache Airflow et un point de terminaison d'interface pour votre base de données de métadonnées Amazon Aurora PostgreSQL. Les points de terminaison sont créés dans les zones de disponibilité mappées à vos sous-réseaux privés et sont indépendants des autres. Comptes AWS
-
Amazon MWAA lie ensuite une adresse IP de vos sous-réseaux privés aux points de terminaison de l'interface. Ceci est conçu pour soutenir la meilleure pratique qui consiste à lier une adresse IP unique à chaque zone de disponibilité de l'Amazon VPC.
Mode d'accès au réseau public et privé
Si vous avez choisi le mode d'accès réseau public et privé pour votre serveur Web Apache Airflow, le trafic réseau vers l'interface utilisateur d'Apache Airflow est acheminé publiquement sur Internet, tandis que les communications entre le travailleur et le serveur Web sont acheminées de manière privée au sein de votre Amazon VPC.
-
Amazon MWAA crée un point de terminaison d'interface VPC pour votre serveur Web Apache Airflow (pour la connectivité des utilisateurs) et un point de terminaison d'interface pour votre base de données de métadonnées Amazon Aurora PostgreSQL. Les points de terminaison sont créés dans les zones de disponibilité mappées à vos sous-réseaux privés et sont indépendants des autres. Comptes AWS
-
Amazon MWAA lie ensuite une adresse IP de vos sous-réseaux privés aux points de terminaison de l'interface. Ceci est conçu pour soutenir la meilleure pratique qui consiste à lier une adresse IP unique à chaque zone de disponibilité de l'Amazon VPC.
-
L'interface utilisateur d'Apache Airflow est accessible via Internet via un équilibreur de charge réseau public. Les utilisateurs accèdent à l'interface utilisateur de la même manière qu'en mode d'accès au réseau public.
Pour en savoir plus, reportez-vous àExemples de cas d'utilisation pour un Amazon VPC et le mode d'accès Apache Airflow.
Configuration des modes d'accès
La section suivante décrit l'installation et les configurations supplémentaires dont vous aurez besoin en fonction du mode d'accès Apache Airflow que vous avez choisi pour votre environnement.
Configuration pour le réseau public
Si vous choisissez l'option Réseau public pour votre serveur Web Apache Airflow, vous pouvez commencer à utiliser l'interface utilisateur d'Apache Airflow après avoir créé votre environnement.
Vous devrez suivre les étapes suivantes pour configurer l'accès de vos utilisateurs et l'autorisation pour votre environnement d'utiliser d'autres AWS services.
-
Ajoutez des autorisations. Amazon MWAA a besoin d'une autorisation pour utiliser d'autres AWS services. Lorsque vous créez un environnement, Amazon MWAA crée un rôle lié à un service qui lui permet d'utiliser certaines actions IAM pour Amazon Elastic Container Registry (Amazon ECR), Logs et Amazon EC2 CloudWatch .
Vous pouvez ajouter l'autorisation d'utiliser des actions supplémentaires pour ces services, ou d'utiliser d'autres AWS services en ajoutant des autorisations à votre rôle d'exécution. Pour en savoir plus, reportez-vous àRôle d'exécution Amazon MWAA.
-
Créez des politiques utilisateur. Vous devrez peut-être créer plusieurs politiques IAM pour vos utilisateurs afin de configurer l'accès à votre environnement et à l'interface utilisateur d'Apache Airflow. Pour en savoir plus, reportez-vous àAccès à un environnement Amazon MWAA.
Configuration pour le réseau privé
Si vous choisissez l'option Réseau privé pour votre serveur Web Apache Airflow, vous devez configurer l'accès pour vos utilisateurs, autoriser votre environnement à utiliser d'autres AWS services et créer un mécanisme pour accéder aux ressources de votre Amazon VPC depuis votre ordinateur.
-
Ajoutez des autorisations. Amazon MWAA a besoin d'une autorisation pour utiliser d'autres AWS services. Lorsque vous créez un environnement, Amazon MWAA crée un rôle lié à un service qui lui permet d'utiliser certaines actions IAM pour Amazon Elastic Container Registry (Amazon ECR), Logs et Amazon EC2 CloudWatch .
Vous pouvez ajouter l'autorisation d'utiliser des actions supplémentaires pour ces services, ou d'utiliser d'autres AWS services en ajoutant des autorisations à votre rôle d'exécution. Pour en savoir plus, reportez-vous àRôle d'exécution Amazon MWAA.
-
Créez des politiques utilisateur. Vous devrez peut-être créer plusieurs politiques IAM pour vos utilisateurs afin de configurer l'accès à votre environnement et à l'interface utilisateur d'Apache Airflow. Pour en savoir plus, reportez-vous àAccès à un environnement Amazon MWAA.
-
Activez l'accès au réseau. Vous devez créer un mécanisme dans votre Amazon VPC pour vous connecter au point de terminaison VPC (AWS PrivateLink) de votre serveur Web Apache Airflow. Par exemple, en créant un tunnel VPN à partir de votre ordinateur à l'aide d'un AWS Client VPN.
Configuration pour l'accès au réseau public et privé
Si vous choisissez l'option Accès au réseau public et privé pour votre serveur Web Apache Airflow, vous pouvez commencer à utiliser l'interface utilisateur d'Apache Airflow après avoir créé votre environnement. Aucun mécanisme d'accès aux terminaux VPN ou VPC n'est requis pour accéder au navigateur. L'interface utilisateur d'Apache Airflow est accessible via Internet. Les travailleurs se connectent automatiquement au serveur Web via le point de terminaison VPC privé.
Vous devrez suivre les étapes suivantes pour configurer l'accès de vos utilisateurs et l'autorisation pour votre environnement d'utiliser d'autres AWS services.
-
Ajoutez des autorisations. Amazon MWAA a besoin d'une autorisation pour utiliser d'autres AWS services. Lorsque vous créez un environnement, Amazon MWAA crée un rôle lié à un service qui lui permet d'utiliser certaines actions IAM pour Amazon Elastic Container Registry (Amazon ECR), Logs et Amazon EC2 CloudWatch .
Vous pouvez ajouter l'autorisation d'utiliser des actions supplémentaires pour ces services, ou d'utiliser d'autres AWS services en ajoutant des autorisations à votre rôle d'exécution. Pour en savoir plus, reportez-vous àRôle d'exécution Amazon MWAA.
-
Créez des politiques utilisateur. Vous devrez peut-être créer plusieurs politiques IAM pour vos utilisateurs afin de configurer l'accès à votre environnement et à l'interface utilisateur d'Apache Airflow. Pour en savoir plus, reportez-vous àAccès à un environnement Amazon MWAA.
Accès au point de terminaison VPC de votre serveur Web Apache Airflow (accès réseau privé)
Si vous avez choisi l'option Réseau privé, vous devez créer un mécanisme dans votre Amazon VPC pour accéder au point de terminaison VPC (AWS PrivateLink) de votre serveur Web Apache Airflow. Nous vous recommandons d'utiliser le même Amazon VPC, le même groupe de sécurité VPC et les mêmes sous-réseaux privés que votre environnement Amazon MWAA pour ces ressources.
Si vous avez choisi Accès au réseau public et privé, vous n'avez pas besoin de créer de mécanisme pour accéder à l'interface utilisateur d'Apache Airflow. Il est accessible via Internet. Le point de terminaison VPC privé est utilisé automatiquement par les travailleurs pour les communications internes.
Pour en savoir plus, reportez-vous à la section Gestion de l'accès pour les points de terminaison VPC.
