Termes Dimensions Accès aux métriques dans la CloudWatch console Les métriques Apache Airflow sont disponibles dans CloudWatch Choix des mesures à signaler Quelle est la prochaine étape ?

Métriques de l'environnement Apache Airflow dans CloudWatch

Apache Airflow v2 et v3 sont déjà configurés pour collecter et envoyer à Amazon des métriques StatsD pour un environnement Amazon Managed Workflows pour Apache Airflow. CloudWatch La liste complète des métriques envoyées par Apache Airflow est disponible sur la page Metrics du guide de référence Apache Airflow. Cette page décrit les métriques Apache Airflow disponibles dans la CloudWatch console CloudWatch et explique comment y accéder.

Table des matières

Termes

Namespace: Un espace de noms est un conteneur pour les CloudWatch métriques d'un AWS service. Pour Amazon MWAA, l'espace de noms est AmazonMWAA.
CloudWatch métriques: Une CloudWatch métrique représente un ensemble chronologique de points de données spécifiques à CloudWatch.
Métriques Apache Airflow: Les métriques spécifiques à Apache Airflow.
Dimension: Une dimension est une name/value paire qui fait partie de l'identité d'une métrique.
Unit: Une statistique possède une unité de mesure. Pour Amazon MWAA, les unités incluent le nombre, les secondes et les millisecondes. Pour Amazon MWAA, les unités sont définies en fonction des unités des métriques Airflow d'origine.

Dimensions

Cette section décrit le regroupement CloudWatch Dimensions dans lequel les métriques Apache Airflow sont regroupées CloudWatch.

Dimension	Description
JOUR	Indique un nom spécifique du DAG Apache Airflow.
Nom de fichier DAG	Indique un nom de fichier DAG Apache Airflow spécifique.
Fonction	Cette dimension est utilisée pour améliorer le regroupement des métriques dans CloudWatch.
Tâche	Indique une tâche Apache Airflow exécutée par le planificateur. A toujours une valeur de`Job`.
Opérateur	Indique un opérateur Apache Airflow spécifique.
Pool	Indique un pool de travailleurs Apache Airflow spécifique.
Sous-tâche	Indique une tâche Apache Airflow spécifique.
HostName	Indique le nom d'hôte d'un processus Apache Airflow en cours d'exécution spécifique.

Accès aux métriques dans la CloudWatch console

Cette section décrit comment accéder aux mesures de performance CloudWatch pour un DAG spécifique.

Pour accéder aux mesures de performance d'une dimension

Ouvrez la page Metrics sur la CloudWatch console.
Sélectionnez votre Région AWS.
Choisissez l'espace de noms AmazonMWAA.
Dans l'onglet Toutes les mesures, sélectionnez une dimension. Par exemple, DAG, Environment.
Choisissez une CloudWatch métrique pour une dimension. Par exemple, TaskInstanceSuccesses ou TaskInstanceDuration. Choisissez Représenter graphiquement tous les résultats de recherche.
Choisissez l'onglet Graphed metrics pour accéder aux statistiques de performance des métriques Apache Airflow, telles que DAG, Environment, Task.

Les métriques Apache Airflow sont disponibles dans CloudWatch

Cette section décrit les mesures et les dimensions d'Apache Airflow envoyées à CloudWatch.

Compteurs de débit d'air Apache

Les métriques Apache Airflow de cette section contiennent des données sur les compteurs Apache Airflow.

CloudWatch métrique	Métrique Apache Airflow	Unit	Dimension
SLA a raté Note Disponible uniquement pour Apache Airflow v2.4.3 à 2.10.3.	sla_missed	Nombre	Fonction, planificateur
Échec du rappel SLA Note Disponible uniquement pour Apache Airflow v2.4.3 à 2.10.3.	échec de la notification de rappel sla_	Nombre	Fonction, planificateur
Mises à jour Note Disponible pour Apache Airflow v2.6.3 et versions ultérieures.	mises à jour du jeu de données	Nombre	Fonction, planificateur
Orphelin Note Disponible pour Apache Airflow v2.6.3 et versions ultérieures.	jeu de données orphelin	Nombre	Fonction, planificateur
FailedCeleryTaskExecution Note Disponible pour Apache Airflow v2.4.3 et versions ultérieures.	celery.execute_command.failure	Nombre	Fonction, céleri
FilePathQueueUpdateCount Note Disponible pour Apache Airflow v2.6.3 et versions ultérieures.	dag_processing.file_path_queue_update_count	Nombre	Fonction, planificateur
CriticalSectionBusy	planificateur.critical_section_busy	Nombre	Fonction, planificateur
DagBagSize	taille_du_sac	Nombre	Fonction, traitement DAG
DagCallbackExceptions	dag.callback_exceptions	Nombre	DAG, Tous
FailedSLAEmailAttempts Note Non disponible pour Apache Airflow v3.0.6 et versions ultérieures.	échec de la notification par e-mail SLA_	Nombre	Fonction, planificateur
TaskInstanceFinished	pour terminer. {day_id}. {identifiant_tâche}. {état}	Nombre	JOUR, {dag_id} Tâche, {task_id} État, {État}
JobEnd	{job_name} _fin	Nombre	Poste, {job_name}
JobHeartbeatFailure	{job_name} _insuffisance_cardiaque	Nombre	Poste, {job_name}
JobStart	{job_name} _start	Nombre	Poste, {job_name}
ManagerStalls	dag_processing.manager_stalls	Nombre	Fonction, traitement DAG
OperatorFailures	operator_failures_ {operator_name}	Nombre	Opérateur, {operator_name}
OperatorSuccesses	operator_successes_ {operator_name}	Nombre	Opérateur, {operator_name}
OtherCallbackCount Note Disponible dans Apache Airflow v2.6.3 et versions ultérieures.	dag_processing.other_callback_count	Nombre	Fonction, planificateur
Processus	dag_processing.processes	Nombre	Fonction, traitement DAG
SchedulerHeartbeat	scheduler_heartbeat	Nombre	Fonction, planificateur
StartedTaskInstances	ti.start. {day_id}. {identifiant_tâche}	Nombre	DAG, Tous Tâche, tout
SlaCallbackCount	dag_processing.sla_callback_count Note Disponible pour Apache Airflow v2.6.3 et versions ultérieures.	Nombre	Fonction, planificateur
TasksKilledExternally	scheduler.tasks.killed_externally	Nombre	Fonction, planificateur
TaskTimeoutError	celery.task_timeout_error	Nombre	Fonction, céleri
TaskInstanceCreatedUsingOperator	task_instance_created- {operator_name}	Nombre	Opérateur, {operator_name}
TaskInstancePreviouslySucceeded	précédemment réussi	Nombre	DAG, Tous Tâche, tout
TaskInstanceFailures	ti_failures	Nombre	DAG, Tous Tâche, tout
TaskInstanceSuccesses	ti_success	Nombre	DAG, Tous Tâche, tout
TaskRemovedFromDAG	task_removed_from_day. {day_id}	Nombre	JOUR, {dag_id}
TaskRestoredToDAG	task_restored_to_day. {day_id}	Nombre	JOUR, {dag_id}
TriggersSucceeded Note Disponible pour Apache Airflow v2.7.2 et versions ultérieures.	déclencheurs. Succès	Nombre	Fonction, déclencheur
TriggersFailed Note Disponible pour Apache Airflow v2.7.2 et versions ultérieures.	déclencheurs. Echec	Nombre	Fonction, déclencheur
TriggersBlockedMainThread Note Disponible pour Apache Airflow v2.7.2 et versions ultérieures.	triggers.blocked_main_thread	Nombre	Fonction, déclencheur
TriggerHeartbeat Note Disponible pour Apache Airflow v2.8.1 et versions ultérieures.	battement_cardiaque	Nombre	Fonction, déclencheur
TaskInstanceCreatedUsingOperator	airflow.task_instance_created_ `{operator_name}` Note Disponible pour Apache Airflow v2.7.2 et versions ultérieures.	Nombre	Opérateur, `{operator_name}`
ZombiesKilled	zombies_tués	Nombre	DAG, Tous Tâche, tout

Jauges de débit d'air Apache

Les métriques Apache Airflow de cette section contiennent des données sur les jauges de débit d'air Apache.

CloudWatch métrique	Métrique Apache Airflow	Unit	Dimension
DAGFileRefreshError	dag_file_refresh_error	Nombre	Fonction, traitement DAG
ImportErrors	dag_processing.import_errors	Nombre	Fonction, traitement DAG
ExceptionFailures	smart_sensor_operator.exception_failures	Nombre	Fonction, opérateur de capteur intelligent
ExecutedTasks	opérateur_capteur_intelligent. Tâches_exécutées	Nombre	Fonction, opérateur de capteur intelligent
InfraFailures	smart_sensor_operator.infra_failures	Nombre	Fonction, opérateur de capteur intelligent
LoadedTasks	opérateur_capteur_intelligent. Tâches_chargées	Nombre	Fonction, opérateur de capteur intelligent
TotalParseTime	jour_traitement.total_parse_time	Secondes	Fonction, traitement DAG
TriggeredDagRuns Note Disponible dans Apache Airflow v2.6.3 et versions ultérieures.	dataset.triggered_dagruns	Nombre	Fonction, planificateur
TriggersRunning Note Disponible dans Apache Airflow v2.7.2 et versions ultérieures.	déclencheurs. exécution. `{hostname}`	Nombre	Fonction, déclencheur HostName, `{hostname}`
PoolDeferredSlots Note Disponible dans Apache Airflow v2.7.2 et versions ultérieures.	pool.deferred_slots. `{pool_name}`	Nombre	Piscine, {pool_name}
DAGFileProcessingLastRunSecondsAgo	dag_processing.last_run.seconds_ago. {day_filename}	Secondes	Nom de fichier DAG, {dag_filename}
OpenSlots	exécuteur.open_slots	Nombre	Fonction, exécuteur
OrphanedTasksAdopted	scheduler.orphaned_tasks.adopted	Nombre	Fonction, planificateur
OrphanedTasksCleared	scheduler.orphaned_tasks.cleared	Nombre	Fonction, planificateur
PokedExceptions	opérateur_capteur_intelligent. Poked_exception	Nombre	Fonction, opérateur de capteur intelligent
PokedSuccess	opérateur_capteur_intelligent. Poked_Success	Nombre	Fonction, opérateur de capteur intelligent
PokedTasks	opérateur_capteur_intelligent. Poked_tasks	Nombre	Fonction, opérateur de capteur intelligent
PoolFailures	pool.open_slots. {nom_pool}	Nombre	Piscine, {pool_name}
PoolStarvingTasks	pool.starving_tasks. {nom_pool}	Nombre	Piscine, {pool_name}
PoolOpenSlots	pool.open_slots. {nom_pool}	Nombre	Piscine, {pool_name}
PoolQueuedSlots	pool.queued_slots. {nom_pool}	Nombre	Piscine, {pool_name}
PoolRunningSlots	pool.running_slots. {nom_pool}	Nombre	Piscine, {pool_name}
ProcessorTimeouts	dag_processing.processor_timeouts	Nombre	Fonction, traitement DAG
QueuedTasks	executor.queued_tasks	Nombre	Fonction, exécuteur
RunningTasks	exécuteur.running_tasks	Nombre	Fonction, exécuteur
TasksExecutable	scheduler.tasks.executable	Nombre	Fonction, planificateur
TasksPending Note Ne s'applique pas à Apache Airflow v2.2 et versions ultérieures.	scheduler.tasks.pending	Nombre	Fonction, planificateur
TasksRunning	scheduler.tasks.running	Nombre	Fonction, planificateur
TasksStarving	scheduler.tasks.starving	Nombre	Fonction, planificateur
TasksWithoutDagRun	planificateur.tasks.without_dagrun	Nombre	Fonction, planificateur
DAGFileProcessingLastNumOfDbQueries Note Disponible dans Apache Airflow v2.10.1 et versions ultérieures.	dag_processing.last_num_of_db_queries. {day_filename}	Nombre	Nom de fichier DAG, {dag_filename}
PoolScheduledSlots Note Disponible dans Apache Airflow v2.10.1 et versions ultérieures.	pool.scheduled_slots. {nom_pool}	Nombre	Piscine, {pool_name}
TaskCpuUsage Note Disponible dans Apache Airflow v2.10.1 et versions ultérieures.	utilisation du processeur. {day_id}. {identifiant_tâche}	Pourcentage	JOUR, {dag_id} Tâche, {task_id}
TaskMemoryUsage Note Disponible dans Apache Airflow v2.10.1 et versions ultérieures.	mem.usage. {day_id}. {identifiant_tâche}	Pourcentage	JOUR, {dag_id} Tâche, {task_id}

Minuteurs de débit d'air Apache

Les métriques Apache Airflow de cette section contiennent des données sur les minuteurs Apache Airflow.

CloudWatch métrique	Métrique Apache Airflow	Unit	Dimension
Collectez les balises DBD	collect_db_days	Millisecondes	Fonction, traitement DAG
CriticalSectionDuration	scheduler.critical_section_duration	Millisecondes	Fonction, planificateur
CriticalSectionQueryDuration Note Disponible pour Apache Airflow v2.5.1 et versions ultérieures.	scheduler.critical_section_query_duration	Millisecondes	Fonction, planificateur
DAGDependencyCheck	dagrun.dependency-check. {day_id}	Millisecondes	JOUR, {dag_id}
DAGDurationFailed	dagrun.duration.failed. {day_id}	Millisecondes	JOUR, {dag_id}
DAGDurationSuccess	jour.durée.succès. {day_id}	Millisecondes	JOUR, {dag_id}
DAGFileProcessingLastDuration	day_processing.last_duration. {day_filename}	Secondes	Nom de fichier DAG, {dag_filename}
DAGScheduleDelay	dayrun.schedule_delay. {day_id}	Millisecondes	JOUR, {dag_id}
FirstTaskSchedulingDelay	dagrun. {dag_id} .first_task_scheduling_delay	Millisecondes	JOUR, {dag_id}
SchedulerLoopDuration Note Disponible pour Apache Airflow v2.5.1 et versions ultérieures.	scheduler.scheduler_loop_duration	Millisecondes	Fonction, planificateur
TaskInstanceDuration	jour. {day_id}. {task_id} .durée	Millisecondes	JOUR, {dag_id} Tâche, {task_id}
TaskInstanceQueuedDuration	jour. `{dag_id}`. `{task_id}`.durée_en file d'attente Note Disponible pour Apache Airflow v2.7.2 et versions ultérieures.	Millisecondes	JOUR, {dag_id} Tâche, {task_id}
TaskInstanceScheduledDuration Note Disponible pour Apache Airflow v2.7.2 et versions ultérieures.	jour. `{dag_id}`. `{task_id}`.durée_planifiée	Millisecondes	JOUR, {dag_id} Tâche, {task_id}

Choix des mesures à signaler

Vous pouvez choisir les métriques Apache Airflow qui seront émises ou bloquées par Apache Airflow à CloudWatch l'aide des options de configuration Amazon MWAA suivantes :

metrics.metrics_allow_list— Une liste de préfixes séparés par des virgules que vous pouvez utiliser pour sélectionner les métriques qui sont émises CloudWatch par votre environnement. Utilisez cette option si vous souhaitez qu'Apache Airflow n'envoie pas toutes les métriques disponibles et sélectionne à la place un sous-ensemble d'éléments. Par exemple, scheduler,executor,dagrun.
metrics.metrics_block_list— Une liste de préfixes séparés par des virgules pour filtrer les métriques commençant par les éléments de la liste. Par exemple, scheduler,executor,dagrun.

Si vous configurez les deux metrics.metrics_allow_list etmetrics.metrics_block_list, Apache Airflow les ignoremetrics.metrics_block_list. Si vous configurez metrics.metrics_block_list mais que ce n'est pas le casmetrics.metrics_allow_list, Apache Airflow filtre les éléments que vous spécifiezmetrics.metrics_block_list.

Note

Les options metrics.metrics_block_list de configuration metrics.metrics_allow_list et s'appliquent uniquement à Apache Airflow v2.6.3 et versions ultérieures. Pour les versions précédentes d'Apache Airflow, utilisez metrics.statsd_allow_list et à la metrics.statsd_block_list place.

Quelle est la prochaine étape ?

Découvrez le fonctionnement de l'API Amazon MWAA utilisé pour publier des mesures de santé de l'environnement sur PublishMetrics.

Avertissement JavaScript est désactivé ou n'est pas disponible dans votre navigateur.

Pour que vous puissiez utiliser la documentation AWS, Javascript doit être activé. Vous trouverez des instructions sur les pages d'aide de votre navigateur.

Conventions de rédaction

Tableaux de bord de surveillance et alarmes

Mesures relatives aux conteneurs, aux files d'attente et aux bases de données