View a markdown version of this page

Meilleures pratiques de sécurité sur Amazon MWAA - Amazon Managed Workflows for Apache Airflow
Meilleures pratiques de sécurité dans Apache Airflow

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Meilleures pratiques de sécurité sur Amazon MWAA

Amazon MWAA fournit un certain nombre de fonctionnalités de sécurité à prendre en compte lorsque vous développez et implémentez vos propres politiques de sécurité. Les bonnes pratiques suivantes doivent être considérées comme des instructions générales et ne représentent pas une solution de sécurité complète. Étant donné que ces bonnes pratiques peuvent ne pas être appropriées ou suffisantes pour votre environnement, considérez-les comme des remarques utiles plutôt que comme des recommandations.

  • Utilisez les politiques d'autorisation les moins permissives. Accordez des autorisations uniquement aux ressources ou aux actions dont les utilisateurs ont besoin pour effectuer des tâches.

  • Utilisez-le AWS CloudTrail pour surveiller l'activité des utilisateurs sur votre compte.

  • Assurez-vous que la politique de compartiment Amazon S3 et les ACL d'objets accordent aux utilisateurs de l'environnement Amazon MWAA associé les autorisations nécessaires pour placer des objets dans le compartiment. Cela garantit que les utilisateurs autorisés à ajouter des flux de travail au compartiment sont également autorisés à exécuter les flux de travail dans Airflow.

  • Utilisez les compartiments Amazon S3 associés aux environnements Amazon MWAA. Votre compartiment Amazon S3 peut porter n'importe quel nom. Ne rangez pas d'autres objets dans le seau et n'utilisez pas le seau avec un autre service.

Meilleures pratiques de sécurité dans Apache Airflow

Apache Airflow n'est pas mutualisé. Bien qu'Amazon MWAA mette en œuvre des mesures de contrôle d'accès visant à limiter certaines fonctionnalités à des utilisateurs spécifiques, les créateurs de DAG ont la possibilité d'écrire des DAG qui peuvent modifier les privilèges utilisateur d'Apache Airflow et interagir avec la base de métadonnées sous-jacente.

Nous vous recommandons de suivre les étapes suivantes lorsque vous travaillez avec Apache Airflow sur Amazon MWAA afin de garantir la sécurité de la base de métadonnées et des DAG de votre environnement.

  • Utilisez des environnements distincts pour des équipes distinctes ayant accès à l'écriture DAG ou ayant la possibilité d'ajouter des fichiers à votre /dags dossier Amazon S3, en supposant que tout ce qui est accessible via le rôle d'exécution Amazon MWAA ou les connexions Apache Airflow sera également accessible aux utilisateurs qui peuvent écrire dans l'environnement.

  • Ne fournissez pas d'accès direct aux dossiers DAG d'Amazon S3. Utilisez plutôt des CI/CD outils pour écrire des DAG sur Amazon S3, avec une étape de validation garantissant que le code DAG répond aux directives de sécurité de votre équipe.

  • Empêchez les utilisateurs d'accéder au compartiment Amazon S3 de votre environnement. Utilisez plutôt une fabrique DAG qui génère des DAG sur la base d'un fichier YAML, JSON ou autre fichier de définition stocké dans un emplacement distinct de votre compartiment Amazon MWAA Amazon S3 dans lequel vous stockez les DAG.

  • Stockez des secrets dans Secrets Manager. Cela n'empêchera pas les utilisateurs qui peuvent écrire des DAG de lire des secrets, mais cela les empêchera de modifier les secrets utilisés par votre environnement.

Détection des modifications des privilèges utilisateur d'Apache Airflow

Vous pouvez utiliser CloudWatch Logs Insights pour détecter les occurrences de DAG modifiant les privilèges utilisateur d'Apache Airflow. Pour ce faire, vous pouvez utiliser une règle EventBridge planifiée, une fonction Lambda et CloudWatch Logs Insights pour envoyer des notifications aux CloudWatch métriques chaque fois que l'un de vos DAG modifie les privilèges utilisateur d'Apache Airflow.

Conditions préalables

Pour effectuer les étapes suivantes, vous aurez besoin des éléments suivants :

Pour configurer les notifications en cas de modification des privilèges utilisateur d'Apache Airflow

  1. Créez une fonction Lambda qui exécute la chaîne de requête CloudWatch Logs Insights suivante sur les cinq groupes de journaux de l'environnement Amazon MWAA (DAGProcessingScheduler, TaskWebServer, etWorker).

    fields @log, @timestamp, @message | filter @message like "add-role" | stats count() by @log

  2. Créez une EventBridge règle qui s'exécute selon un calendrier, avec la fonction Lambda que vous avez créée à l'étape précédente comme cible de la règle. Configurez votre planning à l'aide d'une expression cron ou rate à exécuter à intervalles réguliers.