Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra. # Résolution des problèmes : CloudWatch journaux et CloudTrail erreurs Les rubriques de cette page présentent les solutions apportées à Amazon CloudWatch Logs et AWS CloudTrail les erreurs que vous pouvez rencontrer dans un environnement Amazon Managed Workflows for Apache Airflow. **Contents** + [Journaux](#troubleshooting-view-logs) + [Je ne trouve pas mes journaux de tâches ou j'ai reçu un `Reading remote log from Cloudwatch log_group` message d'erreur](#t-task-logs) + [Les tâches échouent sans aucun journal](#t-task-failing-no-logs) + [Je reçois une `ResourceAlreadyExistsException` erreur dans CloudTrail](#t-cloudtrail) + [Je reçois une `Invalid request` erreur dans CloudTrail](#t-cloudtrail-bucket) + [Je reçois `Cannot locate a 64-bit Oracle Client library: "libclntsh.so: cannot open shared object file: No such file or directory` des logs d'Apache Airflow](#t-plugins-logs) + [Je reçois « le serveur a fermé la connexion de façon inattendue » sur psycopg2 dans les journaux de mon planificateur](#scheduler-postgres-library) + [J'accède `Executor reports task instance %s finished (%s) although the task says its %s` aux journaux de traitement de mon DAG](#long-running-tasks) + [J'accède `Could not read remote logs from log_group: airflow-*{*environmentName}-Task log_stream:* {*DAG_ID}/*{*TASK_ID}/*{*time}/*{*n}.log.` à mes journaux de tâches](#t-task-fail-permission) ## Journaux La rubrique suivante décrit les erreurs que vous pouvez recevoir lors de l'accès aux journaux d'Apache Airflow. ### Je ne trouve pas mes journaux de tâches ou j'ai reçu un `Reading remote log from Cloudwatch log_group` message d'erreur Amazon MWAA a configuré Apache Airflow pour lire et écrire des journaux directement depuis et vers Amazon CloudWatch Logs. Si un travailleur ne démarre pas une tâche ou n'écrit aucun journal, vous ferez référence à l'erreur suivante : ``` *** Reading remote log from Cloudwatch log_group: airflow-environmentName-Task log_stream: DAG_ID/TASK_ID/timestamp/n.log.Could not read remote logs from log_group: airflow-environmentName-Task log_stream: DAG_ID/TASK_ID/time/n.log. ``` + Nous vous recommandons la procédure suivante : 1. Vérifiez que vous avez activé les journaux de tâches au `INFO` niveau de votre environnement. Pour plus d’informations, consultez [Accès aux journaux Airflow sur Amazon CloudWatch](monitoring-airflow.md). 1. Vérifiez que le [rôle d'exécution de l'](mwaa-create-role.md)environnement dispose des politiques d'autorisation appropriées. 1. Vérifiez que votre opérateur ou votre tâche fonctionne correctement, qu'il dispose de suffisamment de ressources pour analyser le DAG et que les bibliothèques Python appropriées doivent être chargées. Pour vérifier si vous avez les bonnes dépendances, essayez d'éliminer les importations jusqu'à ce que vous trouviez celle à l'origine du problème. Nous vous recommandons de tester vos dépendances Python à l'aide de [aws-mwaa-docker-images](https://github.com/aws/amazon-mwaa-docker-images). ### Les tâches échouent sans aucun journal Si des tâches échouent dans un flux de travail et que vous ne trouvez aucun journal pour les tâches ayant échoué, vérifiez si vous définissez le `queue` paramètre dans vos arguments par défaut, comme indiqué ci-dessous. ``` from airflow import DAG from airflow.operators.bash_operator import BashOperator from airflow.utils.dates import days_ago # Setting queue argument to default. default_args = { "start_date": days_ago(1), "queue": "default" } with DAG(dag_id="any_command_dag", schedule_interval=None, catchup=False, default_args=default_args) as dag: cli_command = BashOperator( task_id="bash_command", bash_command="{{ dag_run.conf['command'] }}" ) ``` Pour résoudre le problème, supprimez-le `queue` de votre code et invoquez à nouveau le DAG. ### Je reçois une `ResourceAlreadyExistsException` erreur dans CloudTrail ``` "errorCode": "ResourceAlreadyExistsException", "errorMessage": "The specified log stream already exists", "requestParameters": { "logGroupName": "airflow-MyAirflowEnvironment-DAGProcessing", "logStreamName": "scheduler_cross-account-eks.py.log" } ``` Certaines exigences relatives à Python, `apache-airflow-backport-providers-amazon` telles que le retour à une ancienne version de la `watchtower` bibliothèque avec CloudWatch laquelle Amazon MWAA communique. Nous vous recommandons la procédure suivante : + Ajoutez la bibliothèque suivante à votre `requirements.txt` ``` watchtower==1.0.6 ``` ### Je reçois une `Invalid request` erreur dans CloudTrail ``` Invalid request provided: Provided role does not have sufficient permissions for s3 location airflow-xxx-xxx/dags ``` Si vous créez un environnement Amazon MWAA et un compartiment Amazon S3 à l'aide du même CloudFormation modèle, vous devez ajouter une `DependsOn` section dans votre CloudFormation modèle. Les deux ressources (*MWAA Environment* et *MWAA Execution Policy*) sont dépendantes de. CloudFormation Nous vous recommandons la procédure suivante : + Ajoutez la **DependsOn** déclaration suivante à votre CloudFormation modèle. ``` ... MaxWorkers: 5 NetworkConfiguration: SecurityGroupIds: - !GetAtt SecurityGroup.GroupId SubnetIds: !Ref subnetIds WebserverAccessMode: PUBLIC_ONLY DependsOn: MwaaExecutionPolicy MwaaExecutionPolicy: Type: AWS::IAM::ManagedPolicy Properties: Roles: - !Ref MwaaExecutionRole PolicyDocument: Version: 2012-10-17 Statement: - Effect: Allow Action: airflow:PublishMetrics Resource: ... ``` Pour un exemple, reportez-vous à[Tutoriel de démarrage rapide pour Amazon Managed Workflows pour Apache Airflow](quick-start.md). ### Je reçois `Cannot locate a 64-bit Oracle Client library: "libclntsh.so: cannot open shared object file: No such file or directory` des logs d'Apache Airflow + Nous vous recommandons la procédure suivante : 1. Si vous utilisez Apache Airflow v2, ajoutez-le en `core.lazy_load_plugins : False` tant qu'option de configuration d'Apache Airflow. Pour en savoir plus, reportez-vous à la section [Utilisation des options de configuration pour charger des plug-ins en 2](configuring-env-variables.md#configuring-2.0-airflow-override). ### Je reçois « le serveur a fermé la connexion de façon inattendue » sur psycopg2 dans les journaux de mon planificateur Si vous obtenez une erreur similaire à la suivante, votre planificateur Apache Airflow est peut-être à court de ressources. ``` 2021-06-14T10:20:24.581-05:00 sqlalchemy.exc.OperationalError: (psycopg2.OperationalError) server closed the connection unexpectedly 2021-06-14T10:20:24.633-05:00 This probably means the server terminated abnormally 2021-06-14T10:20:24.686-05:00 before or while processing the request. ``` Nous vous recommandons la procédure suivante : + Envisagez de passer à Apache Airflow v2.0.2, que vous pouvez utiliser pour spécifier jusqu'à 5 planificateurs. ### J'accède `Executor reports task instance %s finished (%s) although the task says its %s` aux journaux de traitement de mon DAG Si vous recevez un message d'erreur similaire à ce qui suit, il est possible que vos tâches de longue durée aient atteint la limite de temps sur Amazon MWAA. Amazon MWAA impose une limite de 12 heures pour chaque tâche Airflow, afin d'éviter que les tâches ne restent bloquées dans la file d'attente et ne bloquent des activités telles que le dimensionnement automatique. ``` Executor reports task instance %s finished (%s) although the task says its %s. (Info: %s) Was the task killed externally ``` Nous vous recommandons la procédure suivante : + Envisagez de diviser la tâche en plusieurs tâches plus courtes. Airflow utilise généralement un modèle dans lequel les opérateurs sont asynchrones. Il invoque des activités sur des systèmes externes et les capteurs Apache Airflow interrogent pour vérifier s'il est terminé. Si un capteur tombe en panne, il peut être réessayé en toute sécurité sans affecter les fonctionnalités de l'opérateur. ### J'accède `Could not read remote logs from log_group: airflow-*{*environmentName}-Task log_stream:* {*DAG_ID}/*{*TASK_ID}/*{*time}/*{*n}.log.` à mes journaux de tâches Si vous obtenez une erreur similaire à la suivante, il est possible que le rôle d'exécution de votre environnement ne contienne pas de politique d'autorisation permettant de créer des flux de journaux pour les journaux de tâches. ``` Could not read remote logs from log_group: airflow-*{*environmentName}-Task log_stream:* {*DAG_ID}/*{*TASK_ID}/*{*time}/*{*n}.log. ``` Nous vous recommandons la procédure suivante : + Modifiez le rôle d'exécution de votre environnement à l'aide de l'un des exemples de politiques disponibles sur[Rôle d'exécution Amazon MWAA](mwaa-create-role.md). Vous avez peut-être également indiqué dans votre `requirements.txt` fichier un package de fournisseur incompatible avec votre version d'Apache Airflow. Par exemple, si vous utilisez Apache Airflow v2.0.2, vous avez peut-être spécifié un package, tel que le [apache-airflow-providers-databricks](https://airflow.apache.org/docs/apache-airflow-providers-databricks/stable/index.html)package, qui n'est compatible qu'avec Airflow 2.1\$1. Nous vous recommandons la procédure suivante : 1. Si vous utilisez Apache Airflow v2.0.2, modifiez le `requirements.txt` fichier et ajoutez-le. `apache-airflow[databricks]` Cela installe la version correcte du package Databricks compatible avec Apache Airflow v2.0.2. 1. Testez vos DAGs plugins personnalisés et vos dépendances Python localement à l'aide de [aws-mwaa-docker-images](https://github.com/aws/amazon-mwaa-docker-images)on GitHub.