Fehlerbehebung: Erstellen und Aktualisieren einer Amazon MWAA-Umgebung - Amazon Managed Workflows für Apache Airflow
Aktualisieren von requirements.txtPlug-insErstellen eines BucketsUmgebung erstellenUmgebung aktualisierenZugriffsumgebung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Fehlerbehebung: Erstellen und Aktualisieren einer Amazon MWAA-Umgebung

Die Themen auf dieser Seite enthalten Fehler, die beim Erstellen und Aktualisieren einer Amazon Managed Workflows for Apache Airflow Airflow-Umgebung auftreten können, und erläutern, wie Sie diese Fehler beheben können.

Aktualisieren von requirements.txt

Im folgenden Thema werden die Fehler beschrieben, die bei der Aktualisierung Ihres requirements.txt möglicherweise auftreten.

Ich habe eine neue Version von meinem angegeben requirements.txt und die Aktualisierung meiner Umgebung dauert mehr als 20 Minuten

Wenn es mehr als zwanzig Minuten dauert, bis Ihre Umgebung eine neue Version einer requirements.txt Datei installiert hat, ist das Umgebungsupdate fehlgeschlagen und Amazon MWAA führt ein Rollback zur letzten stabilen Version des Container-Images durch.

  1. Überprüfen Sie die Paketversionen. Wir empfehlen, immer entweder eine bestimmte Version (==) oder eine maximale Version (<=) für die Python-Abhängigkeiten in Ihrem anzugebenrequirements.txt.

  2. Überprüfen Sie die Apache Airflow Airflow-Protokolle. Wenn Sie Apache Airflow Airflow-Protokolle aktiviert haben, überprüfen Sie auf der Seite Logs-Gruppen in der CloudWatch Konsole, ob Ihre Protokollgruppen erfolgreich erstellt wurden. Wenn Sie leere Protokolle erhalten, liegt der häufigste Grund in fehlenden Berechtigungen in Ihrer Ausführungsrolle für CloudWatch oder Amazon S3, wo Protokolle geschrieben werden. Weitere Informationen finden Sie unterAusführungsrolle.

  3. Überprüfen Sie die Apache Airflow Airflow-Konfigurationsoptionen. Wenn Sie Secrets Manager verwenden, stellen Sie sicher, dass die Schlüssel-Wert-Paare, die Sie als Apache Airflow Airflow-Konfigurationsoption angegeben haben, korrekt konfiguriert wurden. Weitere Informationen finden Sie unter. Konfiguration einer Apache Airflow Airflow-Verbindung mithilfe eines Geheimnisses AWS Secrets Manager

  4. Überprüfen Sie die VPC-Netzwerkkonfiguration. Weitere Informationen finden Sie unter. Ich habe versucht, eine Umgebung zu erstellen, aber sie ist im Creating Status hängen geblieben

  5. Überprüfen Sie die Berechtigungen für die Ausführungsrolle. Eine Ausführungsrolle ist eine AWS Identity and Access Management (IAM) -Rolle mit einer Berechtigungsrichtlinie, die Amazon MWA die Erlaubnis erteilt, die Ressourcen anderer AWS Dienste (wie Amazon S3, Amazon SQS CloudWatch, Amazon ECR) in Ihrem Namen aufzurufen. Ihr vom Kunden verwalteter Schlüssel oder Ihr AWS eigener Schlüssel muss ebenfalls über eine Zugriffsberechtigung verfügen. Weitere Informationen finden Sie unter. Ausführungsrolle

  6. Informationen zum Ausführen eines Fehlerbehebungsskripts, das die Einrichtung und Konfiguration des Amazon VPC-Netzwerks für Ihre Amazon MWAA-Umgebung überprüft, finden Sie im Skript „Umgebung überprüfen“ unter AWS Support-Tools unter. GitHub

Plug-ins

Im folgenden Thema werden Probleme beschrieben, die bei der Konfiguration oder Aktualisierung von Apache Airflow-Plug-ins auftreten können.

Unterstützt Amazon MWAA die Implementierung einer benutzerdefinierten Benutzeroberfläche?

Ab Apache Airflow v2.2.2 unterstützt Amazon MWAA die Installation von Plugins auf dem Apache Airflow Airflow-Webserver und die Implementierung benutzerdefinierter Benutzeroberflächen. Wenn in Ihrer Amazon MWAA-Umgebung Apache Airflow v2.0.2 oder älter ausgeführt wird, können Sie keine benutzerdefinierte Benutzeroberfläche implementieren.

Weitere Informationen zur Versionsverwaltung und zur Aktualisierung Ihrer vorhandenen Umgebungen finden Sie unter. Apache-Airflow-Versionen in Amazon Managed Workflows for Apache Airflow

Erstellen eines Buckets

Im folgenden Thema werden die Fehler beschrieben, die beim Erstellen eines Amazon S3 S3-Buckets auftreten können.

Ich kann die Option für die Einstellungen zum Blockieren des öffentlichen Zugriffs in S3 nicht auswählen

Die Ausführungsrolle für Ihre Amazon MWAA-Umgebung benötigt die Genehmigung für die GetBucketPublicAccessBlock Aktion im Amazon S3 S3-Bucket, um zu überprüfen, ob der Bucket den öffentlichen Zugriff blockiert hat. Wir empfehlen die folgenden Schritte:

  1. Folgen Sie den Schritten, um Ihrer Ausführungsrolle eine JSON-Richtlinie anzuhängen.

  2. Hängen Sie die folgende JSON-Richtlinie an:

    {
  "Effect":"Allow",
  "Action":[
    "s3:GetObject*",
    "s3:GetBucket*",
    "s3:List*"
  ],
  "Resource":[
    "arn:aws:s3:::amzn-s3-demo-bucket",
    "arn:aws:s3:::amzn-s3-demo-bucket/*"
  ]
}

    Ersetzen Sie die Beispiel-Platzhalter amzn-s3-demo-bucket durch Ihren Amazon S3 S3-Bucket-Namen.

  3. Informationen zum Ausführen eines Fehlerbehebungsskripts, das die Einrichtung und Konfiguration des Amazon VPC-Netzwerks für Ihre Amazon MWAA-Umgebung überprüft, finden Sie im Skript „Umgebung überprüfen“ unter AWS Support-Tools unter. GitHub

Umgebung erstellen

Im folgenden Thema werden die Fehler beschrieben, die beim Erstellen einer Umgebung auftreten können.

Ich habe versucht, eine Umgebung zu erstellen, aber sie ist im Creating Status hängen geblieben

Wir empfehlen die folgenden Schritte:

  1. Überprüfen Sie das VPC-Netzwerk mit öffentlichem Routing. Wenn Sie eine Amazon VPC mit Internetzugang verwenden, überprüfen Sie Folgendes:

    1. Dass Ihre Amazon VPC so konfiguriert ist, dass Netzwerkverkehr zwischen den verschiedenen AWS Ressourcen, die von Ihrer Amazon MWAA-Umgebung verwendet werden, zugelassen wird, wie unter definiert. Infos zu Netzwerken in Amazon MWAA Beispielsweise muss Ihre VPC-Sicherheitsgruppe entweder den gesamten Datenverkehr in einer selbstreferenzierenden Regel zulassen oder optional den Portbereich für den HTTPS-Portbereich 443 und den TCP-Portbereich 5432 angeben.

  2. Überprüfen Sie das VPC-Netzwerk mit privatem Routing. Wenn Sie eine Amazon VPC ohne Internetzugang verwenden, überprüfen Sie Folgendes:

    1. Dass Ihre Amazon VPC so konfiguriert ist, dass Netzwerkverkehr zwischen den verschiedenen AWS Ressourcen für Ihre Amazon MWAA-Umgebung zugelassen wird, wie unter definiert. Infos zu Netzwerken in Amazon MWAA Beispielsweise dürfen Ihre beiden privaten Subnetze weder über eine Routing-Tabelle zu einem NAT-Gateway (oder einer NAT-Instance) noch über ein Internet-Gateway verfügen.

  3. Informationen zum Ausführen eines Fehlerbehebungsskripts, das die Einrichtung und Konfiguration des Amazon VPC-Netzwerks für Ihre Amazon MWAA-Umgebung überprüft, finden Sie im Skript „Umgebung überprüfen“ unter AWS Support-Tools unter. GitHub

Ich habe versucht, eine Umgebung zu erstellen, aber der Status wird wie folgt angezeigt Create failed

Wir empfehlen die folgenden Schritte:

  1. Überprüfen Sie die VPC-Netzwerkkonfiguration. Weitere Informationen finden Sie unter. Ich habe versucht, eine Umgebung zu erstellen, aber sie ist im Creating Status hängen geblieben

  2. Überprüfen Sie die Benutzerberechtigungen. Amazon MWAA führt vor der Erstellung einer Umgebung einen Probelauf mit den Anmeldeinformationen eines Benutzers durch. AWS-Konto Möglicherweise sind Sie in AWS Identity and Access Management (IAM) nicht berechtigt, einige Ressourcen für eine Umgebung zu erstellen. Wenn Sie beispielsweise den Apache Airflow Airflow-Zugriffsmodus für private Netzwerke wählen, AWS-Konto muss Ihnen Ihr Administrator Zugriff auf die MWAAFullConsoleAccessAmazon-Zugriffskontrollrichtlinie für Ihre Umgebung gewährt haben, die es Ihrem Konto ermöglicht, VPC-Endpunkte zu erstellen.

  3. Überprüfen Sie die Berechtigungen für die Ausführungsrolle. Eine Ausführungsrolle ist eine AWS Identity and Access Management (IAM) -Rolle mit einer Berechtigungsrichtlinie, die Amazon MWA die Erlaubnis erteilt, die Ressourcen anderer AWS Dienste (wie Amazon S3, Amazon SQS CloudWatch, Amazon ECR) in Ihrem Namen aufzurufen. Ihr vom Kunden verwalteter Schlüssel oder Ihr AWS eigener Schlüssel muss ebenfalls über eine Zugriffsberechtigung verfügen. Weitere Informationen finden Sie unter. Ausführungsrolle

  4. Überprüfen Sie die Apache Airflow Airflow-Protokolle. Wenn Sie Apache Airflow Airflow-Protokolle aktiviert haben, überprüfen Sie auf der Seite Logs-Gruppen in der CloudWatch Konsole, ob Ihre Protokollgruppen erfolgreich erstellt wurden. Wenn Sie leere Protokolle erhalten, liegt der häufigste Grund in fehlenden Berechtigungen in Ihrer Ausführungsrolle für CloudWatch oder Amazon S3, wo Protokolle geschrieben werden. Weitere Informationen finden Sie unterAusführungsrolle.

  5. Informationen zum Ausführen eines Fehlerbehebungsskripts, das die Einrichtung und Konfiguration des Amazon VPC-Netzwerks für Ihre Amazon MWAA-Umgebung überprüft, finden Sie im Skript „Umgebung überprüfen“ unter AWS Support-Tools unter. GitHub

  6. Wenn Sie eine Amazon VPC ohne Internetzugang verwenden, stellen Sie sicher, dass Sie einen Amazon S3-Gateway-Endpunkt erstellt und Amazon ECR die erforderlichen Mindestberechtigungen für den Zugriff auf Amazon S3 erteilt haben. Weitere Informationen zum Erstellen eines Amazon S3 S3-Gateway-Endpunkts finden Sie im Folgenden:

Ich habe versucht, eine VPC auszuwählen, und habe eine Network Failure Fehlermeldung erhalten

Wir empfehlen die folgenden Schritte:

  • Wenn Sie beim Erstellen Ihrer Umgebung versuchen, eine Amazon VPC auszuwählen, eine Network Failure Fehlermeldung erhalten, schalten Sie alle laufenden In-Browser-Proxys aus, und versuchen Sie es erneut.

Ich habe versucht, eine Umgebung zu erstellen, und habe die Fehlermeldung „Muss übergeben werden“ für einen Dienst, eine Partition oder eine Ressource erhalten

Wir empfehlen die folgenden Schritte:

  • Möglicherweise erhalten Sie diesen Fehler, weil der URI, den Sie für Ihren Amazon S3 S3-Bucket angegeben haben, am Ende des URI ein '/' enthält. Wir empfehlen, das '/' im Pfad zu entfernen. Der Wert muss das folgende Format haben:

    s3://amzn-s3-demo-bucket

Ich habe versucht, eine Umgebung zu erstellen, und der Status wird wie folgt angezeigt, Available aber wenn ich versuche, auf die Airflow-Benutzeroberfläche zuzugreifen, wird ein Empty Reply from Server502 Bad Gateway Oder-Fehler angezeigt

Wir empfehlen die folgenden Schritte:

  1. Überprüfen Sie die Konfiguration der VPC-Sicherheitsgruppe. Weitere Informationen finden Sie unter. Ich habe versucht, eine Umgebung zu erstellen, aber sie ist im Creating Status hängen geblieben

  2. Vergewissern Sie sich, dass alle Apache Airflow-Pakete, in denen Sie aufgeführt haben, der Apache Airflow Airflow-Version requirements.txt entsprechen, die Sie auf Amazon MWAA ausführen. Weitere Informationen finden Sie unter. Python-Abhängigkeiten installieren

  3. Informationen zum Ausführen eines Fehlerbehebungsskripts, das die Einrichtung und Konfiguration des Amazon VPC-Netzwerks für Ihre Amazon MWAA-Umgebung überprüft, finden Sie im Skript „Umgebung überprüfen“ unter AWS Support-Tools unter. GitHub

Ich habe versucht, eine Umgebung zu erstellen, und mein Benutzername besteht aus einer Reihe zufälliger Zeichennamen

  • Apache Airflow hat maximal 64 Zeichen für Benutzernamen. Wenn Ihre AWS Identity and Access Management (IAM-) Rolle diese Länge überschreitet, wird ein Hash-Algorithmus verwendet, um sie zu reduzieren und gleichzeitig eindeutig zu bleiben.

Umgebung aktualisieren

Im folgenden Thema werden die Fehler beschrieben, die beim Aktualisieren einer Umgebung auftreten können.

Ich habe versucht, die Umgebungsklasse zu ändern, aber das Update ist fehlgeschlagen

Wenn Sie Ihre Umgebung auf eine andere Umgebungsklasse aktualisieren (z. B. eine mw1.medium zu einer ändernmw1.small) und die Anforderung zur Aktualisierung Ihrer Umgebung fehlschlägt, wechselt der Umgebungsstatus in einen UPDATE_FAILED Status und die Umgebung wird auf die vorherige stabile Version einer Umgebung zurückgesetzt und entsprechend abgerechnet.

Wir empfehlen die folgenden Schritte:

  1. Testen Sie Ihre DAGs benutzerdefinierten Plugins und Python-Abhängigkeiten lokal mit aws-mwaa-docker-imageson GitHub.

  2. Informationen zum Ausführen eines Fehlerbehebungsskripts, das die Einrichtung und Konfiguration des Amazon VPC-Netzwerks für Ihre Amazon MWAA-Umgebung überprüft, finden Sie im Skript „Umgebung überprüfen“ unter AWS Support-Tools unter. GitHub

Zugriffsumgebung

Im folgenden Thema werden die Fehler beschrieben, die beim Zugriff auf eine Umgebung auftreten können.

Ich kann nicht auf die Apache Airflow Airflow-Benutzeroberfläche zugreifen

Wir empfehlen die folgenden Schritte:

  1. Überprüfen Sie die Benutzerberechtigungen. Möglicherweise wurde Ihnen kein Zugriff auf eine Berechtigungsrichtlinie gewährt, die Ihnen den Zugriff auf die Apache Airflow Airflow-Benutzeroberfläche ermöglicht. Weitere Informationen finden Sie unter. Zugreifen auf eine Amazon MWAA-Umgebung

  2. Überprüfen Sie den Netzwerkzugriff. Dies kann daran liegen, dass Sie den privaten Netzwerkzugriffsmodus ausgewählt haben. Wenn die URL Ihrer Apache Airflow Airflow-Benutzeroberfläche das folgende Format hat, bedeutet dies387fbcn-8dh4-9hfj-0dnd-834jhdfb-vpce.c10.us-west-2.airflow.amazonaws.com, dass Sie privates Routing für Ihren Apache Airflow Airflow-Webserver verwenden. Sie können entweder den Apache Airflow Airflow-Zugriffsmodus auf den öffentlichen Netzwerkzugriffsmodus aktualisieren oder einen Mechanismus für den Zugriff auf den VPC-Endpunkt für Ihren Apache Airflow Airflow-Webserver erstellen. Weitere Informationen finden Sie unter. Verwaltung des Zugriffs auf servicespezifische Amazon VPC-Endpunkte auf Amazon MWAA