View a markdown version of this page

Bewährte Sicherheitsmethoden bei Amazon MWAA - Von Amazon verwaltete Workflows für Apache Airflow
Bewährte Sicherheitsmethoden in Apache Airflow

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Bewährte Sicherheitsmethoden bei Amazon MWAA

Amazon MWAA bietet eine Reihe von Sicherheitsfunktionen, die Sie bei der Entwicklung und Implementierung Ihrer eigenen Sicherheitsrichtlinien berücksichtigen sollten. Die folgenden bewährten Methoden sind allgemeine Richtlinien und keine vollständige Sicherheitslösung. Da diese bewährten Methoden für Ihre Umgebung möglicherweise nicht angemessen oder ausreichend sind, sollten Sie sie als hilfreiche Überlegungen und nicht als bindend ansehen.

  • Verwenden Sie Richtlinien für Genehmigungen, die am wenigsten zulässig sind. Gewähren Sie nur Berechtigungen für die Ressourcen oder Aktionen, die Benutzer zur Ausführung von Aufgaben benötigen.

  • Wird verwendet AWS CloudTrail , um die Benutzeraktivitäten in Ihrem Konto zu überwachen.

  • Stellen Sie sicher, dass die Amazon S3-Bucket-Richtlinie und die Objekt-ACLs den Benutzern aus der zugehörigen Amazon MWAA-Umgebung Berechtigungen gewähren, Objekte in den Bucket zu stellen. Dadurch wird sichergestellt, dass Benutzer mit Berechtigungen zum Hinzufügen von Workflows zum Bucket auch über Berechtigungen zum Ausführen der Workflows in Airflow verfügen.

  • Verwenden Sie die Amazon S3-Buckets, die Amazon MWAA-Umgebungen zugeordnet sind. Ihr Amazon S3-Bucket kann einen beliebigen Namen haben. Speichern Sie keine anderen Objekte im Bucket und verwenden Sie den Bucket nicht mit einem anderen Service.

Bewährte Sicherheitsmethoden in Apache Airflow

Apache Airflow ist nicht mandantenfähig. Zwar gibt es Zugriffskontrollmaßnahmen, um einige Funktionen auf bestimmte Benutzer zu beschränken, was Amazon MWAA implementiert, aber DAG-Ersteller haben die Möglichkeit, DAGs zu schreiben, die Apache Airflow-Benutzerrechte ändern und mit der zugrunde liegenden Metadatenbank interagieren können.

Wir empfehlen die folgenden Schritte, wenn Sie mit Apache Airflow auf Amazon MWAA arbeiten, um sicherzustellen, dass die Metadatenbank und die DAGs Ihrer Umgebung sicher sind.

  • Verwenden Sie separate Umgebungen für separate Teams mit DAG-Schreibzugriff oder der Möglichkeit, Dateien zu Ihrem Amazon /dags S3-Ordner hinzuzufügen, vorausgesetzt, alles, auf das über die Amazon MWAA Execution Role oder Apache Airflow-Verbindungen zugegriffen werden kann, ist auch für Benutzer zugänglich, die in die Umgebung schreiben können.

  • Bieten Sie keinen direkten Zugriff auf die Amazon S3-DAGs-Ordner an. Verwenden Sie stattdessen CI/CD Tools, um DAGs in Amazon S3 zu schreiben. In einem Validierungsschritt wird sichergestellt, dass der DAG-Code den Sicherheitsrichtlinien Ihres Teams entspricht.

  • Verhindern Sie den Benutzerzugriff auf den Amazon S3-Bucket Ihrer Umgebung. Verwenden Sie stattdessen eine DAG-Factory, die DAGs auf der Grundlage einer YAML-, JSON- oder einer anderen Definitionsdatei generiert, die an einem anderen Ort als Ihrem Amazon MWAA Amazon S3-Bucket gespeichert ist, in dem Sie DAGs speichern.

  • Speichern Sie Geheimnisse im Secrets Manager. Konfiguration einer Apache Airflow Airflow-Verbindung mit einem AWS Secrets Manager Secret Dies verhindert zwar nicht, dass Benutzer, die DAGs schreiben können, Geheimnisse lesen, aber es verhindert, dass sie die Geheimnisse ändern, die Ihre Umgebung verwendet.

Erkennung von Änderungen an den Apache Airflow-Benutzerrechten

Sie können CloudWatch Logs Insights verwenden, um zu erkennen, dass DAGs die Apache Airflow-Benutzerrechte ändern. Dazu können Sie eine EventBridge geplante Regel, eine Lambda-Funktion und CloudWatch Logs Insights verwenden, um Benachrichtigungen an CloudWatch Metriken zu senden, wenn eine Ihrer DAGs die Apache Airflow-Benutzerrechte ändert.

Voraussetzungen

Um die folgenden Schritte durchzuführen, benötigen Sie Folgendes:

Um Benachrichtigungen für Änderungen der Apache Airflow-Benutzerrechte zu konfigurieren

  1. Erstellen Sie eine Lambda-Funktion, die die folgende CloudWatch Logs Insights-Abfragezeichenfolge für die fünf Amazon MWAA-Umgebungsprotokollgruppen (DAGProcessing, SchedulerTask, WebServer und) ausführt. Worker

    fields @log, @timestamp, @message | filter @message like "add-role" | stats count() by @log

  2. Erstellen Sie eine EventBridge Regel, die nach einem Zeitplan ausgeführt wird, wobei die Lambda-Funktion, die Sie im vorherigen Schritt erstellt haben, als Ziel der Regel dient. Konfigurieren Sie Ihren Zeitplan mithilfe eines Cron- oder Rate-Ausdrucks so, dass er in regelmäßigen Abständen ausgeführt wird.