Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Résolution des problèmes : CloudWatch journaux et CloudTrail erreurs

Les rubriques de cette page présentent les solutions apportées à Amazon CloudWatch Logs et AWS CloudTrail les erreurs que vous pouvez rencontrer dans un environnement Amazon Managed Workflows for Apache Airflow.

Journaux

La rubrique suivante décrit les erreurs que vous pouvez recevoir lors de l'accès aux journaux d'Apache Airflow.

Je ne trouve pas mes journaux de tâches ou j'ai reçu un Reading remote log from Cloudwatch log_group message d'erreur

Amazon MWAA a configuré Apache Airflow pour lire et écrire des journaux directement depuis et vers Amazon CloudWatch Logs. Si un travailleur ne démarre pas une tâche ou n'écrit aucun journal, vous ferez référence à l'erreur suivante :

*** Reading remote log from Cloudwatch log_group: airflow-environmentName-Task log_stream: DAG_ID/TASK_ID/timestamp/n.log.Could not read remote logs from log_group: airflow-environmentName-Task log_stream: DAG_ID/TASK_ID/time/n.log.

Les tâches échouent sans aucun journal

Si des tâches échouent dans un flux de travail et que vous ne trouvez aucun journal pour les tâches ayant échoué, vérifiez si vous définissez le queue paramètre dans vos arguments par défaut, comme indiqué ci-dessous.

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago

# Setting queue argument to default.
default_args = {
	"start_date": days_ago(1),
	"queue": "default"
}

with DAG(dag_id="any_command_dag", schedule_interval=None, catchup=False, default_args=default_args) as dag:
    cli_command = BashOperator(
        task_id="bash_command",
        bash_command="{{ dag_run.conf['command'] }}"
    )

Pour résoudre le problème, supprimez-le queue de votre code et invoquez à nouveau le DAG.

Je reçois une ResourceAlreadyExistsException erreur dans CloudTrail

"errorCode": "ResourceAlreadyExistsException",
    "errorMessage": "The specified log stream already exists",
    "requestParameters": {
        "logGroupName": "airflow-MyAirflowEnvironment-DAGProcessing",
        "logStreamName": "scheduler_cross-account-eks.py.log"
    }

Certaines exigences relatives à Python, apache-airflow-backport-providers-amazon telles que le retour à une ancienne version de la watchtower bibliothèque avec CloudWatch laquelle Amazon MWAA communique. Nous vous recommandons la procédure suivante :

Je reçois une Invalid request erreur dans CloudTrail

Invalid request provided: Provided role does not have sufficient permissions for s3 location airflow-xxx-xxx/dags

Si vous créez un environnement Amazon MWAA et un compartiment Amazon S3 à l'aide du même AWS CloudFormation modèle, vous devez ajouter une DependsOn section dans votre AWS CloudFormation modèle. Les deux ressources (MWAA Environment et MWAA Execution Policy) sont dépendantes de. AWS CloudFormation Nous vous recommandons la procédure suivante :

Je reçois Cannot locate a 64-bit Oracle Client library: "libclntsh.so: cannot open shared object file: No such file or directory des logs d'Apache Airflow

Je reçois « le serveur a fermé la connexion de façon inattendue » sur psycopg2 dans les journaux de mon planificateur

Si vous obtenez une erreur similaire à la suivante, votre planificateur Apache Airflow est peut-être à court de ressources.

2021-06-14T10:20:24.581-05:00    sqlalchemy.exc.OperationalError: (psycopg2.OperationalError) server closed the connection unexpectedly
2021-06-14T10:20:24.633-05:00    This probably means the server terminated abnormally
2021-06-14T10:20:24.686-05:00    before or while processing the request.

Nous vous recommandons la procédure suivante :

J'accède Executor reports task instance %s finished (%s) although the task says its %s aux journaux de traitement de mon DAG

Si vous recevez un message d'erreur similaire à ce qui suit, il est possible que vos tâches de longue durée aient atteint la limite de temps sur Amazon MWAA. Amazon MWAA impose une limite de 12 heures pour chaque tâche Airflow, afin d'éviter que les tâches ne restent bloquées dans la file d'attente et ne bloquent des activités telles que le dimensionnement automatique.

Executor reports task instance %s finished (%s) although the task says its %s. (Info: %s) Was the task killed externally

Nous vous recommandons la procédure suivante :

J'accède Could not read remote logs from log_group: airflow-*{*environmentName}-Task log_stream:* {*DAG_ID}/*{*TASK_ID}/*{*time}/*{*n}.log. à mes journaux de tâches

Si vous obtenez une erreur similaire à la suivante, il est possible que le rôle d'exécution de votre environnement ne contienne pas de politique d'autorisation permettant de créer des flux de journaux pour les journaux de tâches.

Could not read remote logs from log_group: airflow-*{*environmentName}-Task log_stream:* {*DAG_ID}/*{*TASK_ID}/*{*time}/*{*n}.log.

Nous vous recommandons la procédure suivante :

Vous avez peut-être également indiqué dans votre requirements.txt fichier un package de fournisseur incompatible avec votre version d'Apache Airflow. Par exemple, si vous utilisez Apache Airflow v2.0.2, vous avez peut-être spécifié un package, tel que le apache-airflow-providers-databrickspackage, qui n'est compatible qu'avec Airflow 2.1+.

Nous vous recommandons la procédure suivante :