Métricas del entorno Apache Airflow en CloudWatch - Amazon Managed Workflows para Apache Airflow
TérminosDimensionesAcceder a las métricas de la CloudWatch consolaLas métricas de Apache Airflow están disponibles en CloudWatchSelección de las métricas se comunicanSiguientes pasos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Métricas del entorno Apache Airflow en CloudWatch

Apache Airflow v2 y v3 ya están configurados para recopilar y enviar métricas de StatsD para un entorno de Amazon Managed Workflows for Apache Airflow a Amazon. CloudWatch Encontrará la lista completa de métricas que envía Apache Airflow en la página Metrics de la guía de referencia de Apache Airflow. En esta página, se describen las métricas de Apache Airflow disponibles en la consola CloudWatch y cómo acceder a ellas. CloudWatch

Términos

Espacio de nombres

Un espacio de nombres es un contenedor de CloudWatch las métricas de un servicio. AWS En el caso de Amazon MWAA, el espacio de nombres es AmazonMWAA.

CloudWatch métricas

Una CloudWatch métrica representa un conjunto de puntos de datos ordenados en el tiempo que son específicos de CloudWatch.

Métricas de Apache Airflow

Las métricas que son específicas de Apache Airflow.

Dimensión

Una dimensión es un name/value par que forma parte de la identidad de una métrica.

Unidad

Las estadísticas tienen unidades de medida. En el caso de Amazon MWAA, las unidades son recuento, segundos y milisegundos. Además, en Amazon MWAA, las unidades se establecen basándose en las unidades de las métricas de Airflow originales.

Dimensiones

En esta sección se describe la agrupación de CloudWatch dimensiones para las métricas de Apache Airflow en. CloudWatch

Dimensión Descripción

DAG

Indica un nombre específico para el DAG de Apache Airflow.

Nombre de archivo del DAG

Indica un nombre de archivo específico para el DAG de Apache Airflow.

Función

Esta dimensión se utiliza para mejorar la agrupación de las métricas. CloudWatch

Trabajo

Indica una tarea de Apache Airflow ejecutada por el programador. Siempre tiene un valor de. Job

Operador

Indica un operador específico de Apache Airflow.

Grupo

Indica un grupo de procesos de trabajo específico de Apache Airflow.

Tarea

Indica una tarea específica de Apache Airflow.

HostName

Indica el nombre de host de un proceso específico que se está ejecutando en Apache Airflow.

Acceder a las métricas de la CloudWatch consola

En esta sección se describe cómo acceder a las métricas de rendimiento CloudWatch de un DAG específico.

Para acceder a las métricas de rendimiento de una dimensión

  1. Abre la página de métricas en la CloudWatch consola.

  2. Selecciona tu Región de AWS.

  3. Elija el espacio de nombres AmazonMWAA.

  4. En la pestaña Todas las métricas, elija una dimensión. Por ejemplo, DAG, Entorno.

  5. Elige una CloudWatch métrica para una dimensión. Por ejemplo, TaskInstanceSuccesses o TaskInstanceDuration. Elija Representar gráficamente todos los resultados de la búsqueda.

  6. Seleccione la pestaña Métricas graficadas para acceder a las estadísticas de rendimiento de las métricas de Apache Airflow, como DAG, Entorno o Tarea.

Las métricas de Apache Airflow están disponibles en CloudWatch

En esta sección se describen las métricas y dimensiones de Apache Airflow enviadas a. CloudWatch

Contadores de Apache Airflow

Las métricas de Apache Airflow que figuran en esta sección contienen datos sobre los contadores de Apache Airflow.

CloudWatch métrica Métrica de Apache Airflow Unidad Dimensión

SLAMissed

nota

Solo disponible para Apache Airflow v2.4.3 a v2.10.3.

sla_missed

Recuento

Función, Programador

Falló SLACallback

nota

Solo disponible para Apache Airflow v2.4.3 a v2.10.3.

sla_callback_notification_failure

Recuento

Función, Programador

Actualizaciones

nota

Disponible para Apache Airflow v2.6.3 y versiones posteriores.

dataset.updates

Recuento

Función, Programador

Orphaned

nota

Disponible para Apache Airflow v2.6.3 y versiones posteriores.

dataset.orphaned

Recuento

Función, Programador

FailedCeleryTaskExecution

nota

Disponible para Apache Airflow v2.4.3 y versiones posteriores.

celery.execute_command.failure

Recuento

Función, Celery

FilePathQueueUpdateCount

nota

Disponible para Apache Airflow v2.6.3 y versiones posteriores.

dag_processing.file_path_queue_update_count

Recuento

Función, Programador

CriticalSectionBusy

scheduler.critical_section_busy

Recuento

Función, Programador

DagBagSize

dagbag_size

Recuento

Función, Procesamiento de DAG

DagCallbackExceptions

dag.callback_exceptions

Recuento

DAG, Todos

Intentos fallidos SLAEmail

nota

No disponible para Apache Airflow v3.0.6 y versiones posteriores.

sla_email_notification_failure

Recuento

Función, Programador

TaskInstanceFinished

ti.finish.{dag_id}.{task_id}.{state}

Recuento

DAG, {dag_id}

Tarea, {task_id}

Estado, {state}

JobEnd

{job_name}_end

Recuento

Trabajo, {job_name}

JobHeartbeatFailure

{job_name}_heartbeat_failure

Recuento

Trabajo, {job_name}

JobStart

{job_name}_start

Recuento

Trabajo, {job_name}

ManagerStalls

dag_processing.manager_stalls

Recuento

Función, Procesamiento de DAG

OperatorFailures

operator_failures_{operator_name}

Recuento

Operador, {operator_name}

OperatorSuccesses

operator_successes_{operator_name}

Recuento

Operador, {operator_name}

OtherCallbackCount

nota

Disponible en Apache Airflow v2.6.3 y versiones posteriores.

dag_processing.other_callback_count

Recuento

Función, Programador

Processes

dag_processing.processes

Recuento

Función, Procesamiento de DAG

SchedulerHeartbeat

scheduler_heartbeat

Recuento

Función, Programador

StartedTaskInstances

ti.start.{dag_id}.{task_id}

Recuento

DAG, Todos

Tarea, Todas

SlaCallbackCount

dag_processing.sla_callback_count

nota

Disponible para Apache Airflow v2.6.3 y versiones posteriores.

Recuento

Función, Programador

TasksKilledExternally

scheduler.tasks.killed_externally

Recuento

Función, Programador

TaskTimeoutError

celery.task_timeout_error

Recuento

Función, Celery

TaskInstanceCreatedUsingOperator

task_instance_created-{operator_name}

Recuento

Operador, {operator_name}

TaskInstancePreviouslySucceeded

previously_succeeded

Recuento

DAG, Todos

Tarea, Todas

TaskInstanceFailures

ti_failures

Recuento

DAG, Todos

Tarea, Todas

TaskInstanceSuccesses

ti_successes

Recuento

DAG, Todos

Tarea, Todas

TaskRemovedFromDAG

task_removed_from_dag.{dag_id}

Recuento

DAG, {dag_id}

TaskRestoredToDAG

task_restored_to_dag.{dag_id}

Recuento

DAG, {dag_id}

TriggersSucceeded

nota

Disponible para Apache Airflow v2.7.2 y versiones posteriores.

triggers.succeeded

Recuento

Función, Disparador

TriggersFailed

nota

Disponible para Apache Airflow v2.7.2 y versiones posteriores.

triggers.failed

Recuento

Función, Disparador

TriggersBlockedMainThread

nota

Disponible para Apache Airflow v2.7.2 y versiones posteriores.

triggers.blocked_main_thread

Recuento

Función, Disparador

TriggerHeartbeat

nota

Disponible para Apache Airflow v2.8.1 y versiones posteriores.

triggerer_heartbeat

Recuento

Función, Disparador

TaskInstanceCreatedUsingOperator

airflow.task_instance_created_{operator_name}

nota

Disponible para Apache Airflow v2.7.2 y versiones posteriores.

Recuento

Operador, {operator_name}

ZombiesKilled

zombies_killed

Recuento

DAG, Todos

Tarea, Todas

Indicadores de Apache Airflow

Las métricas de Apache Airflow que figuran en esta sección contienen datos sobre los indicadores de Apache Airflow.

CloudWatch métrica Métrica de Apache Airflow Unidad Dimensión

DAGFileRefreshError

dag_file_refresh_error

Recuento

Función, Procesamiento de DAG

ImportErrors

dag_processing.import_errors

Recuento

Función, Procesamiento de DAG

ExceptionFailures

smart_sensor_operator.exception_failures

Recuento

Función, Operador de sensores inteligentes

ExecutedTasks

smart_sensor_operator.executed_tasks

Recuento

Función, Operador de sensores inteligentes

InfraFailures

smart_sensor_operator.infra_failures

Recuento

Función, Operador de sensores inteligentes

LoadedTasks

smart_sensor_operator.loaded_tasks

Recuento

Función, Operador de sensores inteligentes

TotalParseTime

dag_processing.total_parse_time

Segundos

Función, Procesamiento de DAG

TriggeredDagRuns

nota

Disponible en Apache Airflow v2.6.3 y versiones posteriores.

dataset.triggered_dagruns

Recuento

Función, Programador

TriggersRunning

nota

Disponible en Apache Airflow v2.7.2 y versiones posteriores.

desencadena. ejecuta. {hostname}

Recuento

Función, Disparador

HostName, {hostname}

PoolDeferredSlots

nota

Disponible en Apache Airflow v2.7.2 y versiones posteriores.

pool.deferred_slots.{pool_name}

Recuento

Grupo, {pool_name}

DAGFileProcessingLastRunSecondsAgo

dag_processing.last_run.seconds_ago.{dag_filename}

Segundos

Nombre de archivo del DAG, {dag_filename}

OpenSlots

executor.open_slots

Recuento

Función, Ejecutor

OrphanedTasksAdopted

scheduler.orphaned_tasks.adopted

Recuento

Función, Programador

OrphanedTasksCleared

scheduler.orphaned_tasks.cleared

Recuento

Función, Programador

PokedExceptions

smart_sensor_operator.poked_exception

Recuento

Función, Operador de sensores inteligentes

PokedSuccess

smart_sensor_operator.poked_success

Recuento

Función, Operador de sensores inteligentes

PokedTasks

smart_sensor_operator.poked_tasks

Recuento

Función, Operador de sensores inteligentes

PoolFailures

pool.open_slots.{pool_name}

Recuento

Grupo, {pool_name}

PoolStarvingTasks

pool.starving_tasks.{pool_name}

Recuento

Grupo, {pool_name}

PoolOpenSlots

pool.open_slots.{pool_name}

Recuento

Grupo, {pool_name}

PoolQueuedSlots

pool.queued_slots.{pool_name}

Recuento

Grupo, {pool_name}

PoolRunningSlots

pool.running_slots.{pool_name}

Recuento

Grupo, {pool_name}

ProcessorTimeouts

dag_processing.processor_timeouts

Recuento

Función, Procesamiento de DAG

QueuedTasks

executor.queued_tasks

Recuento

Función, Ejecutor

RunningTasks

executor.running_tasks

Recuento

Función, Ejecutor

TasksExecutable

scheduler.tasks.executable

Recuento

Función, Programador

TasksPending

nota

No se aplica a Apache Airflow v2.2 y versiones posteriores.

scheduler.tasks.pending

Recuento

Función, Programador

TasksRunning

scheduler.tasks.running

Recuento

Función, Programador

TasksStarving

scheduler.tasks.starving

Recuento

Función, Programador

TasksWithoutDagRun

scheduler.tasks.without_dagrun

Recuento

Función, Programador

DAGFileProcessingLastNumOfDbQueries

nota

Disponible en Apache Airflow v2.10.1 y versiones posteriores.

dag_processing.last_num_of_db_queries.{dag_filename}

Recuento

Nombre de archivo del DAG, {dag_filename}

PoolScheduledSlots

nota

Disponible en Apache Airflow v2.10.1 y versiones posteriores.

pool.scheduled_slots.{pool_name}

Recuento

Grupo, {pool_name}

TaskCpuUsage

nota

Disponible en Apache Airflow v2.10.1 y versiones posteriores.

cpu.usage.{dag_id}.{task_id}

Porcentaje

DAG, {dag_id}

Tarea, {task_id}

TaskMemoryUsage

nota

Disponible en Apache Airflow v2.10.1 y versiones posteriores.

mem.usage.{dag_id}.{task_id}

Porcentaje

DAG, {dag_id}

Tarea, {task_id}

Temporizadores de Apache Airflow

Las métricas de Apache Airflow que figuran en esta sección contienen datos sobre los temporizadores de Apache Airflow.

CloudWatch métrica Métrica de Apache Airflow Unidad Dimensión

Colecciona DBDags

colect_db_dags

Milisegundos

Función, Procesamiento de DAG

CriticalSectionDuration

scheduler.critical_section_duration

Milisegundos

Función, Programador

CriticalSectionQueryDuration

nota

Disponible para Apache Airflow v2.5.1 y versiones posteriores.

scheduler.critical_section_query_duration

Milisegundos

Función, Programador

DAGDependencyCompruebe

dagrun.dependency-check.{dag_id}

Milisegundos

DAG, {dag_id}

DAGDurationFalló

dagrun.duration.failed.{dag_id}

Milisegundos

DAG, {dag_id}

DAGDurationÉxito

dagrun.duration.success.{dag_id}

Milisegundos

DAG, {dag_id}

DAGFileProcessingLastDuration

dag_processing.last_duration.{dag_filename}

Segundos

Nombre de archivo del DAG, {dag_filename}

DAGScheduleRetraso

dagrun.schedule_delay.{dag_id}

Milisegundos

DAG, {dag_id}

FirstTaskSchedulingDelay

dagrun.{dag_id}.first_task_scheduling_delay

Milisegundos

DAG, {dag_id}

SchedulerLoopDuration

nota

Disponible para Apache Airflow v2.5.1 y versiones posteriores.

scheduler.scheduler_loop_duration

Milisegundos

Función, Programador

TaskInstanceDuration

dag.{dag_id}.{task_id}.duration

Milisegundos

DAG, {dag_id}

Tarea, {task_id}

TaskInstanceQueuedDuration

dag.{dag_id}.{task_id}.queued_duration

nota

Disponible para Apache Airflow v2.7.2 y versiones posteriores.

Milisegundos

DAG, {dag_id}

Tarea, {task_id}

TaskInstanceScheduledDuration

nota

Disponible para Apache Airflow v2.7.2 y versiones posteriores.

dag.{dag_id}.{task_id}.scheduled_duration

Milisegundos

DAG, {dag_id}

Tarea, {task_id}

Selección de las métricas se comunican

Puede elegir qué métricas de Apache Airflow emitirá o bloqueará CloudWatch Apache Airflow mediante las siguientes opciones de configuración de Amazon MWAA:

  • metrics.metrics_allow_list— Una lista de prefijos separados por comas que puede utilizar para seleccionar las métricas que emitirá su entorno. CloudWatch Utilice esta opción si no quiere que Apache Airflow envíe todas las métricas disponibles y el subconjunto de elementos que sí quiere enviar. Por ejemplo, scheduler,executor,dagrun.

  • metrics.metrics_block_list: una lista de prefijos separados por comas para filtrar las métricas que comienzan con los elementos de la lista. Por ejemplo, scheduler,executor,dagrun.

Si configura ambas opciones, la metrics.metrics_allow_list y metrics.metrics_block_list, Apache Airflow ignorará la metrics.metrics_block_list. Si configura la metrics.metrics_block_list pero no metrics.metrics_allow_list, Apache Airflow filtrará los elementos que haya especificado en la metrics.metrics_block_list.

nota

Las opciones de metrics.metrics_block_list configuración metrics.metrics_allow_list y solo se aplican a Apache Airflow v2.6.3 y versiones posteriores. Para la versión anterior de Apache Airflow, utilice metrics.statsd_allow_list y metrics.statsd_block_list en su lugar.

Siguientes pasos

  • Explore la operación de la API de Amazon MWAA que se utiliza para publicar métricas de salud ambiental en. PublishMetrics