Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Erkunden Sie die Amazon MWAA-Netzwerkarchitektur
Im folgenden Abschnitt werden die Hauptkomponenten einer Amazon MWAA-Umgebung sowie die AWS Services beschrieben, in die jede Umgebung integriert ist, um ihre Ressourcen zu verwalten, Ihre Daten zu schützen und Ihre Workflows zu überwachen und sichtbar zu machen.
Amazon MWAA-Komponenten
Amazon MWAA-Umgebungen bestehen aus den folgenden vier Hauptkomponenten:
-
Scheduler — Analysiert und überwacht all Ihre Aufgaben und stellt Aufgaben zur Ausführung in eine Warteschlange DAGs, wenn die Abhängigkeiten einer DAG erfüllt sind. Amazon MWAA stellt den Scheduler als AWS Fargate Cluster mit mindestens 2 Schedulern bereit. Sie können die Anzahl der Scheduler je nach Arbeitslast auf bis zu fünf erhöhen. Weitere Informationen zu Amazon MWAA-Umgebungsklassen finden Sie unter Amazon MWAA-Umgebungsklasse.
-
Mitarbeiter — Eine oder mehrere Fargate-Aufgaben, die Ihre geplanten Aufgaben ausführen. Die Anzahl der Mitarbeiter für Ihre Umgebung wird durch einen Bereich zwischen einer von Ihnen angegebenen Mindest - und Höchstzahl bestimmt. Amazon MWAA beginnt mit der auto-scaling von Workern, wenn die Anzahl der in der Warteschlange stehenden und laufenden Aufgaben höher ist, als Ihre vorhandenen Worker bewältigen können. Wenn die Summe laufender Aufgaben und Aufgaben in der Warteschlange länger als zwei Minuten Null ergibt, reduziert Amazon MWAA die Anzahl der Mitarbeiter auf ein Minimum. Weitere Informationen darüber, wie Amazon MWAA mit automatischer Skalierung von Workern umgeht, finden Sie unter auto-scaling von Amazon MWAA.
-
Webserver — Führt die Apache Airflow-Weboberfläche aus. Sie können den Webserver mit privatem oder öffentlichem Netzwerkzugriff konfigurieren. In beiden Fällen wird der Zugriff auf Ihre Apache Airflow-Benutzer durch die Zugriffskontrollrichtlinie gesteuert, die Sie in AWS Identity and Access Management (IAM) definieren. Weitere Informationen zur Konfiguration von IAM-Zugriffsrichtlinien für Ihre Umgebung finden Sie unter Zugreifen auf eine Amazon MWAA-Umgebung.
-
Datenbank — Speichert Metadaten über die Apache Airflow-Umgebung und Ihre Workflows, einschließlich des DAG-Ausführungsverlaufs. Bei der Datenbank handelt es sich um eine Aurora PostgreSQL Single-Tenant-Datenbank AWS, die von den Containern Scheduler und Workers 'Fargate verwaltet wird und auf die über einen privat gesicherten Amazon VPC-Endpunkt zugegriffen werden kann.
Jede Amazon MWAA-Umgebung interagiert auch mit einer Reihe von AWS Services, um eine Vielzahl von Aufgaben zu bewältigen, darunter Speichern DAGs und Zugreifen sowie Aufgabenabhängigkeiten, Sicherung Ihrer Daten im Ruhezustand sowie Protokollierung und Überwachung Ihrer Umgebung. Das folgende Diagramm zeigt die verschiedenen Komponenten einer Amazon MWAA-Umgebung.
Anmerkung
Der Service Amazon VPC ist keine gemeinsam genutzte VPC. Amazon MWAA erstellt für jede Umgebung, die Sie erstellen, eine AWS eigene VPC.
-
Amazon S3 — Amazon MWAA speichert all Ihre Workflow-Ressourcen wie DAGs Anforderungen und Plugin-Dateien in einem Amazon S3 S3-Bucket. Weitere Informationen zum Erstellen des Buckets als Teil der Umgebungserstellung und zum Hochladen Ihrer Amazon MWAA-Ressourcen finden Sie unter Erstellen eines Amazon S3 S3-Buckets für Amazon MWAA im Amazon MWAA-Benutzerhandbuch.
-
Amazon ECR — Amazon ECR hostet alle Apache Airflow-Images. Amazon MWAA unterstützt nur AWS verwaltete Apache Airflow-Images.
-
AWS KMS— Amazon MWAA verwendet AWS KMS , um sicherzustellen, dass Ihre Daten im Ruhezustand sicher sind. Standardmäßig verwendet Amazon MWAA AWS verwaltete AWS KMS Schlüssel, aber Sie können Ihre Umgebung so konfigurieren, dass Ihr eigener, vom AWS KMS Kunden verwalteter Schlüssel verwendet wird. Weitere Informationen zur Verwendung Ihres eigenen kundenverwalteten AWS KMS Schlüssels finden Sie unter Vom Kunden verwaltete Schlüssel für Datenverschlüsselung im Amazon MWAA-Benutzerhandbuch.
-
CloudWatch— Amazon MWAA ist in Apache Airflow-Protokolle CloudWatch und Umgebungsmetriken integriert und stellt diese bereit CloudWatch, sodass Sie Ihre Amazon MWAA-Ressourcen überwachen und Probleme beheben können.
Konnektivität
Ihre Amazon MWAA-Umgebung benötigt Zugriff auf alle AWS Dienste, in die sie integriert ist. Die Amazon MWAA-Ausführungsrolle steuert, wie Amazon MWAA Zugriff gewährt wird, um in Ihrem Namen eine Verbindung zu anderen AWS Diensten herzustellen. Für die Netzwerkkonnektivität können Sie entweder öffentlichen Internetzugang für Ihre Amazon VPC bereitstellen oder Amazon VPC-Endpunkte erstellen. Weitere Informationen zur Konfiguration von Amazon VPC-Endpunkten (AWS PrivateLink) für Ihre Umgebung finden Sie unter Verwaltung des Zugriffs auf VPC-Endpunkte auf Amazon MWAA im Amazon MWAA-Benutzerhandbuch.
Amazon MWAA installiert Anforderungen für den Scheduler und den Worker. Wenn Ihre Anforderungen aus einem öffentlichen PyPi.whlDateien als benutzerdefinierte Plugins für Ihre Umgebung bündeln.
Wenn Sie Apache Airflow im privaten Modus konfigurieren, kann Ihre Amazon VPC nur über Amazon VPC-Endpunkte auf die Apache Airflow-Benutzeroberfläche zugreifen.
Weitere Informationen zu Netzwerken finden Sie unter Networking im Amazon MWAA-Benutzerhandbuch.
