Résolution des problèmes : création et mise à jour d'un environnement Amazon MWAA

Vérifiez les versions des packages. Nous vous recommandons de toujours spécifier une version spécifique (==) ou une version maximale (<=) pour les dépendances Python de votrerequirements.txt.

Consultez les journaux d'Apache Airflow. Si vous avez activé les journaux Apache Airflow, vérifiez que vos groupes de journaux ont bien été créés sur la page des groupes de journaux de la CloudWatch console. Si vous obtenez des journaux vides, la raison la plus courante est l'absence d'autorisations dans votre rôle d'exécution pour Amazon S3 CloudWatch ou dans l'endroit où les journaux sont écrits. Pour en savoir plus, reportez-vous àRôle d'exécution.

Vérifiez les options de configuration d'Apache Airflow. Si vous utilisez Secrets Manager, vérifiez que les paires clé-valeur que vous avez spécifiées comme option de configuration d'Apache Airflow ont été correctement configurées. Pour en savoir plus, reportez-vous àConfiguration d'une connexion Apache Airflow à l'aide d'un secret AWS Secrets Manager.

Vérifiez la configuration du réseau VPC. Pour en savoir plus, reportez-vous àJ'ai essayé de créer un environnement et il est resté dans l'Creatingétat.

Vérifiez les autorisations des rôles d'exécution. Un rôle d'exécution est un rôle AWS Identity and Access Management (IAM) doté d'une politique d'autorisations qui accorde à Amazon MWAA l'autorisation d'invoquer les ressources d'autres AWS services (tels qu'Amazon S3, Amazon CloudWatch SQS, Amazon ECR) en votre nom. L'accès à votre clé gérée par le client ou à votre cléAWS détenue par le client doit également être autorisé. Pour en savoir plus, reportez-vous àRôle d'exécution.

Pour exécuter un script de dépannage qui vérifie la configuration du réseau Amazon VPC et la configuration de votre environnement Amazon MWAA, reportez-vous au script Verify Environment dans AWS Support Tools sur. GitHub

Suivez les étapes pour associer une politique JSON à votre rôle d'exécution.

Joignez la politique JSON suivante :

{
  "Effect":"Allow",
  "Action":[
    "s3:GetObject*",
    "s3:GetBucket*",
    "s3:List*"
  ],
  "Resource":[
    "arn:aws:s3:::amzn-s3-demo-bucket",
    "arn:aws:s3:::amzn-s3-demo-bucket/*"
  ]
}

Remplacez les exemples d'espaces réservés amzn-s3-demo-bucket par le nom de votre compartiment Amazon S3.

Pour exécuter un script de dépannage qui vérifie la configuration du réseau Amazon VPC et la configuration de votre environnement Amazon MWAA, reportez-vous au script Verify Environment dans AWS Support Tools sur. GitHub

Vérifiez le réseau VPC avec un routage public. Si vous utilisez un Amazon VPC avec accès à Internet, vérifiez les points suivants :

1. Que votre Amazon VPC soit configuré pour autoriser le trafic réseau entre les différentes AWS ressources utilisées par votre environnement Amazon MWAA, comme défini dans. À propos de la mise en réseau sur Amazon MWAA Par exemple, votre groupe de sécurité VPC doit soit autoriser tout le trafic dans une règle d'autoréférencement, soit éventuellement spécifier la plage de ports pour la plage de ports HTTPS 443 et une plage de ports TCP 5432.

Vérifiez le réseau VPC avec un routage privé. Si vous utilisez un Amazon VPC sans accès à Internet, vérifiez les points suivants :

1. Que votre Amazon VPC est configuré pour autoriser le trafic réseau entre les différentes AWS ressources de votre environnement Amazon MWAA, comme défini dans. À propos de la mise en réseau sur Amazon MWAA Par exemple, vos deux sous-réseaux privés ne doivent pas avoir de table de routage vers une passerelle NAT (ou instance NAT), ni une passerelle Internet.

Pour exécuter un script de dépannage qui vérifie la configuration du réseau Amazon VPC et la configuration de votre environnement Amazon MWAA, reportez-vous au script Verify Environment dans AWS Support Tools sur. GitHub

Vérifiez la configuration du réseau VPC. Pour en savoir plus, reportez-vous àJ'ai essayé de créer un environnement et il est resté dans l'Creatingétat.

Vérifiez les autorisations des utilisateurs. Amazon MWAA effectue une analyse à sec des informations d'identification d'un utilisateur avant de créer un environnement. Compte AWS Il se peut que vous n'ayez pas l'autorisation AWS Identity and Access Management (IAM) de créer certaines ressources pour un environnement. Par exemple, si vous avez choisi le mode d'accès Apache Airflow au réseau privé, votre administrateur Compte AWS doit vous avoir accordé l'accès à la politique de contrôle d'MWAAFullConsoleAccessaccès Amazon pour votre environnement, qui permet à votre compte de créer des points de terminaison VPC.

Vérifiez les autorisations des rôles d'exécution. Un rôle d'exécution est un rôle AWS Identity and Access Management (IAM) doté d'une politique d'autorisations qui accorde à Amazon MWAA l'autorisation d'invoquer les ressources d'autres AWS services (tels qu'Amazon S3, Amazon CloudWatch SQS, Amazon ECR) en votre nom. L'accès à votre clé gérée par le client ou à votre cléAWS détenue par le client doit également être autorisé. Pour en savoir plus, reportez-vous àRôle d'exécution.

Consultez les journaux d'Apache Airflow. Si vous avez activé les journaux Apache Airflow, vérifiez que vos groupes de journaux ont bien été créés sur la page des groupes de journaux de la CloudWatch console. Si vous obtenez des journaux vides, la raison la plus courante est l'absence d'autorisations dans votre rôle d'exécution pour Amazon S3 CloudWatch ou dans l'endroit où les journaux sont écrits. Pour en savoir plus, reportez-vous àRôle d'exécution.

Pour exécuter un script de dépannage qui vérifie la configuration du réseau Amazon VPC et la configuration de votre environnement Amazon MWAA, reportez-vous au script Verify Environment dans AWS Support Tools sur. GitHub

Si vous utilisez un Amazon VPC sans accès à Internet, assurez-vous d'avoir créé un point de terminaison de passerelle Amazon S3 et d'avoir accordé les autorisations minimales requises à Amazon ECR pour accéder à Amazon S3. Pour en savoir plus sur la création d'un point de terminaison de passerelle Amazon S3, consultez ce qui suit :

Vérifiez la configuration du groupe de sécurité VPC. Pour en savoir plus, reportez-vous àJ'ai essayé de créer un environnement et il est resté dans l'Creatingétat.

Vérifiez que tous les packages Apache Airflow que vous avez répertoriés requirements.txt correspondent à la version d'Apache Airflow que vous utilisez sur Amazon MWAA. Pour en savoir plus, reportez-vous àInstallation des dépendances Python.

Pour exécuter un script de dépannage qui vérifie la configuration du réseau Amazon VPC et la configuration de votre environnement Amazon MWAA, reportez-vous au script Verify Environment dans AWS Support Tools sur. GitHub

Testez vos DAGs plugins personnalisés et vos dépendances Python localement à l'aide de aws-mwaa-docker-imageson GitHub.

Pour exécuter un script de dépannage qui vérifie la configuration du réseau Amazon VPC et la configuration de votre environnement Amazon MWAA, reportez-vous au script Verify Environment dans AWS Support Tools sur. GitHub

Vérifiez les autorisations des utilisateurs. L'accès à une politique d'autorisation vous permettant d'accéder à l'interface utilisateur d'Apache Airflow ne vous a peut-être pas été accordé. Pour en savoir plus, reportez-vous àAccès à un environnement Amazon MWAA.

Vérifiez l'accès au réseau. Cela peut être dû au fait que vous avez sélectionné le mode d'accès au réseau privé. Si l'URL de votre interface utilisateur Apache Airflow est au format suivant387fbcn-8dh4-9hfj-0dnd-834jhdfb-vpce.c10.us-west-2.airflow.amazonaws.com, cela signifie que vous utilisez un routage privé pour votre serveur Web Apache Airflow. Vous pouvez soit mettre à jour le mode d'accès Apache Airflow vers le mode d'accès au réseau public, soit créer un mécanisme pour accéder au point de terminaison VPC pour votre serveur Web Apache Airflow. Pour en savoir plus, reportez-vous àGestion de l'accès aux points de terminaison Amazon VPC spécifiques à un service sur Amazon MWAA.