Erstellen Sie eine Amazon MWAA-Umgebung

Um Details für die Umgebung anzugeben

1. Öffnen Sie die Amazon MWAA-Konsole.

2. Verwenden Sie die AWS Regionsauswahl, um Ihre Region auszuwählen.

3. Wählen Sie Create environment (Umgebung erstellen) aus.

4. Gehen Sie auf der Seite „Details angeben“ unter Umgebungsdetails wie folgt vor:

   1. Geben Sie im Feld Name einen eindeutigen Namen für Ihre Umgebung ein.

   2. Wählen Sie die Apache Airflow-Version in der Airflow-Version.

      Anmerkung

      Wenn kein Wert angegeben ist, wird standardmäßig die neueste Apache Airflow-Version verwendet. Die neueste verfügbare Version ist Apache Airflow v2.10.3.

5. Geben Sie unter DAG-Code in Amazon S3 Folgendes an:

   1. S3-Bucket. Wählen Sie Browse S3 und wählen Sie Ihren Amazon S3 S3-Bucket aus, oder geben Sie die Amazon S3 S3-URI ein.

   2. DAGs folder. Wählen Sie Browse S3 und wählen Sie den dags Ordner in Ihrem Amazon S3 S3-Bucket aus, oder geben Sie die Amazon S3 S3-URI ein.

   3. Plugin-Datei — optional. Wählen Sie Browse S3 und wählen Sie die plugins.zip Datei in Ihrem Amazon S3 S3-Bucket aus, oder geben Sie die Amazon S3 S3-URI ein.

   4. Anforderungsdatei — optional. Wählen Sie Browse S3 und wählen Sie die requirements.txt Datei in Ihrem Amazon S3 S3-Bucket aus, oder geben Sie die Amazon S3 S3-URI ein.

   5. Startskriptdatei — optional, wählen Sie Durchsuchen S3 und wählen Sie die Skriptdatei in Ihrem Amazon S3 S3-Bucket aus, oder geben Sie den Amazon S3 S3-URI ein.

6. Wählen Sie Weiter aus.

Konfigurieren von erweiterten Einstellungen

1. Gehen Sie auf der Seite Erweiterte Einstellungen konfigurieren unter Netzwerk wie folgt vor:

   1. Wählen Sie Ihre Amazon VPC.

      In diesem Schritt werden zwei der privaten Subnetze in Ihrer Amazon VPC gefüllt.

2. Wählen Sie unter Webserver-Zugriff Ihren bevorzugten Apache Airflow-Zugriffsmodus aus:

   1. Privates Netzwerk. Dadurch wird der Zugriff auf die Apache Airflow-Benutzeroberfläche auf Benutzer in Ihrer Amazon VPC beschränkt, denen Zugriff auf die IAM-Richtlinie für Ihre Umgebung gewährt wurde. Für diesen Schritt benötigen Sie die Erlaubnis, Amazon VPC-Endpoints zu erstellen.

      Anmerkung

      Wählen Sie die Option Privates Netzwerk, wenn auf Ihre Apache Airflow-Benutzeroberfläche nur innerhalb eines Unternehmensnetzwerks zugegriffen wird und Sie für die Installation der Webserver-Anforderungen keinen Zugriff auf öffentliche Repositorys benötigen. Wenn Sie diese Option für den Zugriffsmodus wählen, müssen Sie einen Mechanismus für den Zugriff auf Ihren Apache Airflow-Webserver in Ihrer Amazon VPC erstellen. Weitere Informationen finden Sie unter Zugreifen auf den VPC-Endpunkt für Ihren Apache Airflow Webserver (privater Netzwerkzugriff).

   2. Öffentliches Netzwerk. Dadurch können Benutzer, denen Zugriff auf die IAM-Richtlinie für Ihre Umgebung gewährt wurde, über das Internet auf die Apache Airflow-Benutzeroberfläche zugreifen.

3. Wählen Sie unter Sicherheitsgruppe (n) die Sicherheitsgruppe aus, die zum Schutz Ihrer Amazon VPC verwendet wird:

   1. Standardmäßig erstellt Amazon MWAA eine Sicherheitsgruppe in Ihrer Amazon VPC mit spezifischen Regeln für eingehenden und ausgehenden Datenverkehr unter Neue Sicherheitsgruppe erstellen.

   2. Optional. Deaktivieren Sie das Kontrollkästchen unter Neue Sicherheitsgruppe erstellen, um bis zu 5 Sicherheitsgruppen auszuwählen.

      Anmerkung

      Eine bestehende Amazon VPC-Sicherheitsgruppe muss mit bestimmten Regeln für eingehenden und ausgehenden Datenverkehr konfiguriert werden, um Netzwerkverkehr zuzulassen. Weitere Informationen hierzu finden Sie unter Sicherheit in Ihrer VPC auf Amazon MWAA.

4. Wählen Sie unter Umgebungsklasse eine Umgebungsklasse aus.

   Wir empfehlen, die kleinste Größe zu wählen, die zur Unterstützung Ihrer Arbeitslast erforderlich ist. Sie können die Umgebungsklasse jederzeit ändern.

5. Geben Sie für Maximale Anzahl von Workern die maximale Anzahl von Apache Airflow-Workern an, die in der Umgebung ausgeführt werden sollen.

   Weitere Informationen finden Sie unter Beispiel für einen Anwendungsfall mit hoher Leistung.

6. Geben Sie die maximale Anzahl an Webservern und die minimale Anzahl an Webservern an, um zu konfigurieren, wie Amazon MWAA die Apache Airflow-Webserver in Ihrer Umgebung skaliert.

   Weitere Informationen zur automatischen Skalierung von Webservern finden Sie unter. Konfiguration der automatischen Skalierung des Amazon MWAA-Webservers

7. Wählen Sie unter Verschlüsselung eine Datenverschlüsselungsoption aus:

   1. Standardmäßig verwendet Amazon MWAA einen AWS eigenen Schlüssel, um Ihre Daten zu verschlüsseln.

   2. Optional. Wählen Sie Verschlüsselungseinstellungen anpassen (erweitert), um einen anderen Schlüssel auszuwählen. AWS KMS Wenn Sie in diesem Schritt einen vom Kunden verwalteten Schlüssel angeben möchten, müssen Sie eine AWS KMS Schlüssel-ID oder einen ARN angeben. AWS KMS Aliase und Schlüssel für mehrere Regionen werden von Amazon MWAA nicht unterstützt. Wenn Sie in Ihrem Amazon S3-Bucket einen Amazon S3-Schlüssel für die serverseitige Verschlüsselung angegeben haben, müssen Sie denselben Schlüssel für Ihre Amazon MWAA-Umgebung angeben.

      Anmerkung

      Sie müssen über Berechtigungen für den Schlüssel verfügen, um ihn auf der Amazon MWAA-Konsole auswählen zu können. Sie müssen Amazon MWAA außerdem Berechtigungen zur Verwendung des Schlüssels erteilen, indem Sie die unter beschriebene Richtlinie anhängen. Wichtige Richtlinien anhängen

8. Empfohlen. Wählen Sie unter Überwachung eine oder mehrere Protokollkategorien für die Airflow-Protokollierungskonfiguration aus, um Apache Airflow-Protokolle an Logs zu senden: CloudWatch

   1. Airflow-Aufgabenprotokolle. Wählen Sie den Typ der Apache Airflow-Taskprotokolle aus, die an Logs auf CloudWatch Protokollebene gesendet werden sollen.

   2. Airflow-Webserver-Protokolle. Wählen Sie den Typ der Apache Airflow-Webserver-Protokolle aus, die an Logs in CloudWatch Log-Ebene gesendet werden sollen.

   3. Airflow Scheduler-Protokolle. Wählen Sie den Typ der Apache Airflow Scheduler-Protokolle aus, die an Protokolle auf Protokollebene gesendet werden sollen CloudWatch .

   4. Airflow-Worker-Protokolle. Wählen Sie den Typ der Apache Airflow-Worker-Protokolle aus, die an Logs auf CloudWatch Protokollebene gesendet werden sollen.

   5. Airflow DAG-Verarbeitungsprotokolle. Wählen Sie den Typ der Apache Airflow DAG-Verarbeitungsprotokolle aus, die an Protokolle auf CloudWatch Protokollebene gesendet werden sollen.

9. Optional. Wählen Sie für Airflow-Konfigurationsoptionen die Option Benutzerdefinierte Konfigurationsoption hinzufügen aus.

   Sie können aus der vorgeschlagenen Dropdownliste der Apache Airflow-Konfigurationsoptionen für Ihre Apache Airflow-Version wählen oder benutzerdefinierte Konfigurationsoptionen angeben. Zum Beispiel:. core.default_task_retries 3

10. Optional. Wählen Sie unter Tags die Option Neues Tag hinzufügen aus, um Ihrer Umgebung Tags zuzuordnen. Zum BeispielEnvironment:Staging.

11. Wählen Sie unter Berechtigungen eine Ausführungsrolle aus:

    1. Standardmäßig erstellt Amazon MWAA unter Neue Rolle erstellen eine Ausführungsrolle. Sie müssen über die Berechtigung zum Erstellen von IAM-Rollen verfügen, um diese Option verwenden zu können.

    2. Optional. Wählen Sie „Rollen-ARN eingeben“, um den Amazon-Ressourcennamen (ARN) einer vorhandenen Ausführungsrolle einzugeben.

12. Wählen Sie Weiter aus.

Um eine Zusammenfassung der Umgebung zu überprüfen

• Sehen Sie sich die Zusammenfassung der Umgebung an und wählen Sie Umgebung erstellen aus.

  Anmerkung

  Das Erstellen einer Umgebung dauert etwa zwanzig bis dreißig Minuten.