Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Häufig gestellte Fragen zu Amazon MWAA

Auf dieser Seite werden häufig gestellte Fragen beschrieben, auf die Sie bei der Verwendung von Amazon Managed Workflows für Apache Airflow stoßen können.

Unterstützte Versionen

Was unterstützt Amazon MWAA für Apache Airflow v2?

Informationen darüber, was Amazon MWAA unterstützt, finden Sie unter. Apache-Airflow-Versionen in von Amazon verwalteten Workflows für Apache Airflow

Welche Python-Version kann ich verwenden?

Die folgenden Apache Airflow-Versionen werden in Amazon Managed Workflows für Apache Airflow unterstützt.

Weitere Informationen zur Migration Ihrer selbstverwalteten Apache Airflow-Bereitstellungen oder zur Migration einer vorhandenen Amazon MWAA-Umgebung, einschließlich Anweisungen zum Sichern Ihrer Metadaten-Datenbank, finden Sie im Amazon MWAA-Migrationsleitfaden. https://docs.aws.amazon.com/mwaa/latest/migrationguide/index.html

Anwendungsfälle

Kann ich Amazon MWAA mit Amazon Unified Studio verwenden? SageMaker

Ja. Mit einem Amazon SageMaker Unified Studio-Workflow können Sie eine Reihe von Aufgaben in Amazon SageMaker Unified Studio einrichten und ausführen. Amazon SageMaker Unified Studio-Workflows verwenden Apache Airflow, um Datenverarbeitungsvorgänge zu modellieren und Ihre Amazon SageMaker Unified Studio-Code-Artefakte zu orchestrieren. Weitere Informationen finden Sie im Abschnitt Workflows. Weitere Informationen zu Amazon SageMaker finden Sie unter Was ist Amazon SageMaker?

Wann kann ich verwenden AWS Step Functions im Vergleich zu Amazon MWAA?

Spezifikationen für die Umgebung

Wie viel Aufgabenspeicher ist für jede Umgebung verfügbar?

Der Aufgabenspeicher ist auf 20 GB begrenzt und wird in Amazon ECS Fargate 1.4 spezifiziert. Die Größe des Arbeitsspeichers wird durch die von Ihnen angegebene Umgebungsklasse bestimmt. Weitere Informationen zu Umgebungsklassen finden Sie unterKonfiguration der Amazon MWAA-Umgebungsklasse.

Welches ist das Standardbetriebssystem, das für Amazon MWAA-Umgebungen verwendet wird?

Amazon MWAA-Umgebungen werden auf Instances erstellt, auf denen Amazon Linux 2 für Versionen 2.6 und älter ausgeführt wird, und auf Instances, auf denen Amazon Linux 2023 für Versionen 2.7 und höher ausgeführt wird.

Kann ich ein benutzerdefiniertes Image für meine Amazon MWAA-Umgebung verwenden?

Benutzerdefinierte Images werden nicht unterstützt. Amazon MWAA verwendet Images, die auf Amazon Linux AMI basieren. Amazon MWAA installiert die zusätzlichen Anforderungen, indem es die Anforderungen ausführt, die in der Datei requirements.txt angegeben sind, die Sie dem Amazon S3-Bucket pip3 -r install für die Umgebung hinzufügen.

Ist Amazon MWAA HIPAA-konform?

Amazon MWAA ist gemäß dem Health Insurance Portability and Accountability Act (HIPAA) zugelassen. Wenn Sie über einen HIPAA Business Associate Addendum (BAA) verfügen, können Sie Amazon MWAA für Workflows verwenden AWS, die geschützte Gesundheitsinformationen (PHI) in Umgebungen verarbeiten, die am oder nach dem 14. November 2022 erstellt wurden.

Unterstützt Amazon MWAA Spot-Instances?

Amazon MWAA unterstützt derzeit keine Amazon EC2 Spot-Instance-Typen auf Abruf für Apache Airflow. Eine Amazon MWAA-Umgebung kann jedoch Spot-Instances beispielsweise auf Amazon EMR und Amazon EC2 auslösen.

Unterstützt Amazon MWAA eine benutzerdefinierte Domain?

Um eine benutzerdefinierte Domain für Ihren Amazon MWAA-Hostnamen verwenden zu können, gehen Sie wie folgt vor:

Kann ich per SSH in meine Umgebung zugreifen?

SSH wird in einer Amazon MWAA-Umgebung zwar nicht unterstützt, es ist jedoch möglich, eine DAG zu verwenden, um Bash-Befehle mit dem auszuführen. BashOperator Beispiel:

from airflow import DAG
				from airflow.operators.bash_operator import BashOperator
				from airflow.utils.dates import days_ago
				with DAG(dag_id="any_bash_command_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
				cli_command = BashOperator(
				task_id="bash_command",
				bash_command="{{ dag_run.conf['command'] }}"
				)

Um die DAG in der Apache Airflow-Benutzeroberfläche auszulösen, verwenden Sie:

{ "command" : "your bash command"}

Warum ist eine selbstreferenzierende Regel für die VPC-Sicherheitsgruppe erforderlich?

Indem Sie eine selbstreferenzierende Regel erstellen, beschränken Sie die Quelle auf dieselbe Sicherheitsgruppe in der VPC, und sie steht nicht allen Netzwerken zur Verfügung. Weitere Informationen finden Sie unter. Sicherheit in Ihrer VPC auf Amazon MWAA

Kann ich Umgebungen verschiedener Gruppen in IAM ausblenden?

Sie können den Zugriff einschränken AWS Identity and Access Management, indem Sie einen Umgebungsnamen in angeben. Die Zugriffsfilterung ist in der AWS Konsole jedoch nicht verfügbar. Wenn ein Benutzer auf eine Umgebung zugreifen kann, kann er auf alle Umgebungen zugreifen.

Kann ich temporäre Daten auf dem Apache Airflow Worker speichern?

Ihre Apache Airflow Operators können temporäre Daten über die Mitarbeiter speichern. Apache Airflow-Mitarbeiter können auf temporäre Dateien in den /tmp Fargate-Containern für Ihre Umgebung zugreifen.

Kann ich mehr als 25 Apache Airflow-Worker angeben?

Ja. Sie können zwar bis zu 25 Apache Airflow-Worker auf der Amazon MWAA-Konsole angeben, aber Sie können bis zu 50 in einer Umgebung konfigurieren, indem Sie eine Erhöhung der Quote beantragen. Weitere Informationen finden Sie unter Beantragung einer Kontingenterhöhung.

Unterstützt Amazon MWAA gemeinsam genutzte Amazon-VPCs oder gemeinsam genutzte Subnetze?

Amazon MWAA unterstützt keine gemeinsam genutzten Amazon-VPCs oder gemeinsam genutzten Subnetze. Die Amazon VPC, die Sie bei der Erstellung einer Umgebung auswählen, muss dem Konto gehören, das versucht, die Umgebung zu erstellen. Sie können jedoch den Datenverkehr von einer Amazon-VPC im Amazon MWAA-Konto zu einer gemeinsam genutzten VPC weiterleiten. Weitere Informationen und ein Beispiel für die Weiterleitung von Datenverkehr an eine gemeinsam genutzte Amazon VPC finden Sie unter Zentralisiertes ausgehendes Routing ins Internet im Amazon VPC Transit Gateways Guide.

Kann ich benutzerdefinierte Amazon SQS-Warteschlangen erstellen oder integrieren, um die Aufgabenausführung und Workflow-Orchestrierung in Apache Airflow zu verwalten?

Nein, Sie können keine benutzerdefinierten Amazon SQS-Warteschlangen innerhalb von Amazon MWAA erstellen, ändern oder verwenden. Dies liegt daran, dass Amazon MWAA automatisch eine eigene Amazon SQS-Warteschlange für jede Amazon MWAA-Umgebung bereitstellt und verwaltet.

Kennzahlen

Welche Metriken werden verwendet, um zu bestimmen, ob Mitarbeiter skaliert werden sollen?

Amazon MWAA überwacht den QueuedTasks und RunningTasks in, CloudWatch um zu ermitteln, ob Apache Airflow Worker in Ihrer Umgebung skaliert werden sollten. Weitere Informationen finden Sie unter. Überwachung und Metriken für Amazon Managed Workflows für Apache Airflow

Kann ich benutzerdefinierte Metriken in erstellen CloudWatch?

Nicht auf der CloudWatch Konsole. Sie können jedoch eine DAG erstellen, in die benutzerdefinierte Metriken geschrieben CloudWatch werden. Weitere Informationen finden Sie unter Verwenden einer DAG zum Schreiben benutzerdefinierter Metriken in CloudWatch.

DAGs, Operatoren, Verbindungen und andere Fragen

Kann ich das benutzen? PythonVirtualenvOperator

Mit Amazon MWAA können Sie das verwendenPythonVirtualenvOperator, das in jeder Umgebung vorinstalliert ist. Verwenden Sie es, um Python-Callables in einer virtuellen Umgebung mit isolierten Abhängigkeiten auszuführen. Weitere Hinweise zu vorinstallierten Paketen finden Sie unter. Apache Airflow-Provider-Pakete, die in Amazon MWAA-Umgebungen installiert sind

Wie lange dauert es, bis Amazon MWAA eine neue DAG-Datei erkennt?

DAGs werden regelmäßig vom Amazon S3-Bucket mit Ihrer Umgebung synchronisiert. Wenn Sie eine neue DAG-Datei hinzufügen, dauert es etwa 300 Sekunden, bis Amazon MWAA mit der Verwendung der neuen Datei beginnt. Wenn Sie eine vorhandene DAG aktualisieren, benötigt Amazon MWAA etwa 30 Sekunden, um Ihre Aktualisierungen zu erkennen.

Diese Werte, 300 Sekunden für neue DAGs und 30 Sekunden für Aktualisierungen vorhandener DAGs, entsprechen jeweils den Apache Airflow-Konfigurationsoptionen. dag_dir_list_interval min_file_process_interval

Warum wird meine DAG-Datei nicht von Apache Airflow aufgenommen?

Die folgenden Lösungen sind für dieses Problem möglich:

Kann ich eine Datei plugins.zip oder requirements.txt aus einer Umgebung entfernen?

Derzeit gibt es keine Möglichkeit, eine plugins.zip- oder requirements.txt aus einer Umgebung zu entfernen, sobald sie hinzugefügt wurden, aber wir arbeiten an dem Problem. In der Zwischenzeit besteht eine Problemumgehung darin, auf eine leere Text- bzw. Zip-Datei zu verweisen. Weitere Informationen finden Sie unter. Löschen von Dateien auf Amazon S3

Warum erscheinen meine Plugins nicht im Admin-Plugins-Menü von Apache Airflow v2.0.2?

Aus Sicherheitsgründen hat der Apache Airflow-Webserver auf Amazon MWAA nur begrenzten Netzwerkausgang und installiert weder Plugins noch Python-Abhängigkeiten direkt auf dem Apache Airflow-Webserver für Umgebungen der Version 2.0.2. Das aufgeführte Plugin ermöglicht es Amazon MWAA, Ihre Apache Airflow-Benutzer in (IAM) zu authentifizieren. AWS Identity and Access Management

Um Plugins und Python-Abhängigkeiten direkt auf dem Webserver installieren zu können, empfehlen wir, eine neue Umgebung mit Apache Airflow v2.2 und höher zu erstellen. Amazon MWA installiert Python-Abhängigkeiten und benutzerdefinierte Plugins direkt auf dem Webserver für Apache Airflow v2.2 und höher.

Kann ich verwenden AWS Betreiber des Datenbankmigrationsdienstes (DMS)?

Amazon MWAA unterstützt DMS-Betreiber. Dieser Operator kann jedoch nicht verwendet werden, um Aktionen in der Amazon Aurora PostgreSQL-Metadatendatenbank auszuführen, die einer Amazon MWAA-Umgebung zugeordnet ist.

Wenn ich mit dem auf die Airflow REST-API zugreife AWS Anmeldeinformationen, kann ich das Drosselungslimit auf mehr als 10 Transaktionen pro Sekunde (TPS) erhöhen?

Ja, das können Sie. Um das Drosselungslimit zu erhöhen, wenden Sie sich bitte an den Kundensupport. AWS

Wo läuft der Airflow Task Execution API-Server in Amazon MWAA?

Amazon MWAA führt den Airflow Task Execution API-Server in der Webserver-Komponente aus. APIs zur Aufgabenausführung sind nur in Apache Airflow v3 und höher verfügbar. Weitere Informationen zur Amazon MWAA-Architektur finden Sie unter. Architektur