Qu'est-ce qu'Amazon Managed Workflows pour Apache Airflow ? - Amazon Managed Workflows for Apache Airflow
FonctionnalitésArchitectureIntegrationVersions prises en chargeQuelle est la prochaine étape ?

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Qu'est-ce qu'Amazon Managed Workflows pour Apache Airflow ?

Utilisez Amazon Managed Workflows pour Apache Airflow, un service géré pour Apache Airflow, pour configurer et exécuter des pipelines de données dans le cloud à grande échelle. Apache Airflow est un outil open source utilisé pour créer, planifier et surveiller les flux de travail.

Avec Amazon MWAA, vous pouvez utiliser Apache Airflow et Python pour créer des flux de travail sans gérer l'infrastructure en termes d'évolutivité, de disponibilité et de sécurité. Amazon MWAA s'adapte automatiquement à vos besoins en matière de flux de travail. Il s'intègre aux services AWS de sécurité pour fournir un accès rapide et sécurisé à vos données.

Fonctionnalités

Consultez les fonctionnalités suivantes pour découvrir comment Amazon MWAA peut simplifier la gestion de vos flux de travail Apache Airflow.

  • Configuration automatique du flux d'air : configurez rapidement Apache Airflow en choisissant une version d'Apache Airflow lorsque vous créez un environnement Amazon MWAA. Amazon MWAA configure Apache Airflow pour vous en utilisant la même interface utilisateur Apache Airflow et le même code open source que ceux disponibles sur Internet.

  • Mise à l'échelle automatique : dimensionnez automatiquement les travailleurs d'Apache Airflow (les ressources de calcul qui exécutent vos tâches) en définissant des limites minimales et maximales. Amazon MWAA surveille les travailleurs de votre environnement et utilise son composant de mise à l'échelle automatique pour ajouter des travailleurs afin de répondre à la demande, dans la limite du nombre maximum que vous avez défini.

  • Authentification intégrée : activez l'authentification et l'autorisation basées sur les rôles pour votre serveur Web Apache Airflow en définissant les politiques AWS Identity and Access Management de contrôle d'accès dans (IAM). Les travailleurs d'Apache Airflow adoptent ces politiques pour un accès sécurisé aux AWS services.

  • Sécurité intégrée : les serveurs et les planificateurs d'Apache Airflow s'exécutent dans Amazon VPC d'Amazon MWAA. Les données sont également automatiquement cryptées à l'aide de ce logiciel AWS Key Management Service, de sorte que votre environnement est sécurisé par défaut.

  • Modes d'accès public ou privé : accédez à votre serveur Web Apache Airflow en utilisant un mode d'accès privé ou public. Le mode d'accès au réseau public utilise un point de terminaison VPC pour votre serveur Web Apache Airflow accessible via Internet. Le mode d'accès au réseau privé utilise un point de terminaison VPC pour votre serveur Web Apache Airflow accessible depuis votre VPC. Dans les deux cas, l'accès de vos utilisateurs d'Apache Airflow est contrôlé par la politique de contrôle d'accès que vous définissez dans AWS Identity and Access Management (IAM) et par le SSO. AWS

  • Mises à niveau et correctifs simplifiés : Amazon MWAA fournit régulièrement de nouvelles versions d'Apache Airflow. L'équipe Amazon MWAA mettra à jour et corrigera les images pour ces versions.

  • Surveillance du flux de travail : accédez aux journaux Apache Airflow et aux métriques d'Apache Airflow sur CloudWatch Amazon pour identifier les retards ou les erreurs de flux de travail d'Apache Airflow sans avoir besoin d'outils tiers supplémentaires. Amazon MWAA envoie automatiquement les métriques de l'environnement et, si elles sont activées, Apache Airflow se connecte à. CloudWatch

  • AWS intégration — Amazon MWAA prend en charge les intégrations open source avec Amazon Athena, CloudWatch Amazon AWS Batch, Amazon DynamoDB, Amazon EMR, AWS DataSync Amazon EKS, Amazon Data Firehose AWS Fargate, Amazon AWS Lambda Redshift, Amazon SQS AWS Glue, Amazon SNS, Amazon AI et Amazon S3, ainsi que des centaines d'Amazon S3 intégrés et créés par la communauté SageMaker opérateurs et capteurs.

  • Flottes de travailleurs : Amazon MWAA propose une assistance pour l'utilisation de conteneurs afin de faire évoluer le parc de travailleurs à la demande et de réduire les interruptions de service du planificateur à l'aide d'Amazon ECS on. AWS Fargate Les opérateurs qui appellent des tâches sur des conteneurs Amazon ECS et les opérateurs Kubernetes qui créent et exécutent des pods sur un cluster Kubernetes sont pris en charge.

Architecture

Tous les composants contenus dans la boîte extérieure (dans l'image suivante) sont présentés sous la forme d'un seul environnement Amazon MWAA dans votre compte. Le planificateur et les outils de travail Apache Airflow sont des AWS Fargate conteneurs qui se connectent aux sous-réseaux privés de votre environnement Amazon VPC. Chaque environnement possède sa propre base de métadonnées Apache Airflow gérée par AWS laquelle le planificateur et les travailleurs ont accès aux conteneurs Fargate via un point de terminaison VPC sécurisé par le biais d'un point de terminaison VPC privé.

Amazon CloudWatch, Amazon S3, Amazon SQS et Amazon AWS KMS sont distincts d'Amazon MWAA et doivent être accessibles depuis les planificateurs et les opérateurs d'Apache Airflow dans les conteneurs Fargate. Plusieurs planificateurs Apache Airflow ne sont disponibles qu'avec Apache Airflow v2 et versions ultérieures. Pour en savoir plus sur le cycle de vie des tâches d'Apache Airflow, consultez Concepts dans le guide de référence d'Apache Airflow.

Le serveur Web Apache Airflow est accessible soit via Internet en sélectionnant le mode d'accès Apache Airflow au réseau public, soit au sein de votre VPC en sélectionnant le mode d'accès Apache Airflow au réseau privé. Dans les deux cas, l'accès de vos utilisateurs d'Apache Airflow est contrôlé par la politique de contrôle d'accès que vous définissez dans AWS Identity and Access Management (IAM).

Note

À partir d'Apache Airflow v3, le serveur Web Amazon MWAA héberge également le serveur d'API d'exécution d'Apache Airflow.

Architecture d'un environnement Amazon MWAA.

Integration

La communauté open source active et croissante d'Apache Airflow fournit des opérateurs (plugins qui simplifient les connexions aux services) permettant à Apache Airflow de s'intégrer aux services. AWS Cela inclut des services tels qu'Amazon S3, Amazon Redshift, Amazon EMR AWS Batch et Amazon SageMaker AI, ainsi que des services sur d'autres plateformes cloud.

L'utilisation d'Apache Airflow avec Amazon MWAA prend entièrement en charge l'intégration avec AWS des services et des outils tiers populaires tels qu'Apache Hadoop, Presto, Hive et Spark pour effectuer des tâches de traitement des données. Amazon MWAA s'engage à maintenir la compatibilité avec l'API Apache Airflow, et Amazon MWAA a l'intention de fournir des intégrations fiables aux services, de les mettre AWS à la disposition de la communauté et de participer au développement de fonctionnalités communautaires.

Pour un exemple de code, reportez-vous àExemples de code pour Amazon Managed Workflows pour Apache Airflow.

Versions prises en charge

Amazon MWAA prend en charge plusieurs versions d'Apache Airflow. Pour plus d'informations sur les versions d'Apache Airflow que nous prenons en charge et sur les composants Apache Airflow inclus dans chaque version, reportez-vous à. Versions Apache Airflow sur Amazon Managed Workflows for Apache Airflow

Quelle est la prochaine étape ?