Arbeiten mit DAGs auf Amazon MWAA - Amazon Managed Workflows für Apache Airflow
Überblick über den Amazon S3 S3-Bucket

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Arbeiten mit DAGs auf Amazon MWAA

Um Directed Acyclic Graphs (DAGs) in einer Amazon Managed Workflows for Apache Airflow-Umgebung auszuführen, kopieren Sie Ihre Dateien in den Amazon S3 S3-Speicher-Bucket, der mit Ihrer Umgebung verbunden ist, und teilen Amazon MWAA dann mit, wo sich Ihre DAGs und die unterstützenden Dateien auf der Amazon MWAA-Konsole befinden. Amazon MWAA kümmert sich um die Synchronisation DAGs zwischen Workern, Schedulern und dem Webserver. In diesem Handbuch wird beschrieben DAGs, wie Sie Ihre benutzerdefinierten Plugins und Python-Abhängigkeiten in einer Amazon MWAA-Umgebung hinzufügen oder aktualisieren und installieren.

Themen

Überblick über den Amazon S3 S3-Bucket

Bei einem Amazon S3 S3-Bucket für eine Amazon MWAA-Umgebung muss der öffentliche Zugriff gesperrt sein. Standardmäßig sind alle Amazon S3 S3-Ressourcen — Buckets, Objekte und zugehörige Unterressourcen (z. B. Lebenszykluskonfiguration) — privat.

  • Nur der Eigentümer der Ressource, das AWS Konto, das den Bucket erstellt hat, kann auf die Ressource zugreifen. Der Eigentümer der Ressource (z. B. Ihr Administrator) kann anderen Zugriffsberechtigungen gewähren, indem er eine Zugriffskontrollrichtlinie verfasst.

  • Die von Ihnen eingerichtete Zugriffsrichtlinie muss berechtigt sein DAGs, Ihrem Amazon S3 S3-Bucket benutzerdefinierte Plugins und Python-Abhängigkeiten hinzuzufügen. plugins.zip requirements.txt Eine Beispielrichtlinie, die die erforderlichen Berechtigungen enthält, finden Sie unter Amazon MWAAFull ConsoleAccess.

Für einen Amazon S3 S3-Bucket für eine Amazon MWAA-Umgebung muss Versioning aktiviert sein. Wenn die Amazon S3 S3-Bucket-Versionierung aktiviert ist, wird bei jeder Erstellung einer neuen Version eine neue Kopie erstellt.

  • Die Versionierung ist für die benutzerdefinierten Plug-ins in a plugins.zip und die Python-Abhängigkeiten in a in Ihrem requirements.txt Amazon S3 S3-Bucket aktiviert.

  • Sie müssen jedes Malplugins.zip, wenn diese Dateien in Ihrem Amazon S3-Bucket aktualisiert werden, die Version von und requirements.txt auf der Amazon MWAA-Konsole angeben.