Metriche dell'ambiente Apache Airflow in CloudWatch - Flussi di lavoro gestiti da Amazon per Apache Airflow
TerminiDimensioniAccesso alle metriche nella console CloudWatch Metriche Apache Airflow disponibili in CloudWatchScelta delle metriche da segnalareFasi successive

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Metriche dell'ambiente Apache Airflow in CloudWatch

Apache Airflow v2 e v3 sono già configurati per raccogliere e inviare ad Amazon i parametri StatSD per un ambiente Amazon Managed Workflows for Apache Airflow. CloudWatch L'elenco completo delle metriche inviate da Apache Airflow è disponibile nella pagina Metriche della guida di riferimento di Apache Airflow. Questa pagina descrive le metriche di Apache Airflow disponibili CloudWatch in Apache Airflow e come accedervi nella console. CloudWatch

Termini

Namespace

Un namespace è un contenitore per le metriche di un servizio. CloudWatch AWS Per Amazon MWAA, lo spazio dei nomi è AmazonMWAA.

CloudWatch metriche

Una CloudWatch metrica rappresenta un insieme ordinato nel tempo di punti dati specifici per. CloudWatch

Metriche Apache Airflow

Le metriche specifiche di Apache Airflow.

Dimensione

Una dimensione è una name/value coppia che fa parte dell'identità di una metrica.

Unità

Una statistica ha un'unità di misura. Per Amazon MWAA, le unità includono Count, Secondi e Millisecondi. Per Amazon MWAA, le unità vengono impostate in base alle unità nelle metriche Airflow originali.

Dimensioni

Questa sezione descrive il raggruppamento delle CloudWatch dimensioni per le metriche di Apache Airflow in. CloudWatch

Dimensione Descrizione

DAG

Indica un nome DAG Apache Airflow specifico.

Nome del file DAG

Indica un nome di file Apache Airflow DAG specifico.

Funzione

Questa dimensione viene utilizzata per migliorare il raggruppamento delle metriche in. CloudWatch

Processo

Indica un job Apache Airflow eseguito dallo scheduler. Ha sempre un valore di. Job

Operatore

Indica un operatore Apache Airflow specifico.

Pool

Indica un pool di lavoratori Apache Airflow specifico.

Attività

Indica un'attività specifica di Apache Airflow.

HostName

Indica il nome host per uno specifico processo Apache Airflow in esecuzione.

Accesso alle metriche nella console CloudWatch

Questa sezione descrive come accedere alle metriche delle prestazioni CloudWatch per un DAG specifico.

Per accedere alle metriche delle prestazioni per una dimensione

  1. Apri la pagina Metriche sulla console. CloudWatch

  2. Seleziona il tuo. Regione AWS

  3. Scegli lo spazio dei nomi AmazonMWAA.

  4. Nella scheda Tutte le metriche, seleziona una dimensione. Ad esempio, DAG, Environment.

  5. Scegli una CloudWatch metrica per una dimensione. Ad esempio TaskInstanceSuccesses o TaskInstanceDuration. Scegli Grafica tutti i risultati della ricerca.

  6. Scegli la scheda Metriche grafiche per accedere alle statistiche sulle prestazioni per le metriche di Apache Airflow, come DAG, Environment, Task.

Metriche Apache Airflow disponibili in CloudWatch

Questa sezione descrive le metriche e le dimensioni di Apache Airflow inviate a. CloudWatch

Contatori Apache Airflow

Le metriche di Apache Airflow in questa sezione contengono dati sui contatori Apache Airflow.

CloudWatch parametro Metrica Apache Airflow Unità Dimensione

SLAMissed

Nota

Disponibile solo per Apache Airflow dalla versione 2.4.3 alla versione 2.10.3.

sla_missed

Conteggio

Funzione, Scheduler

Fallito SLACallback

Nota

Disponibile solo per Apache Airflow dalla versione 2.4.3 alla versione 2.10.3.

sla_callback_notification_failure

Conteggio

Funzione, Scheduler

Aggiornamenti

Nota

Disponibile per Apache Airflow v2.6.3 e versioni successive.

dataset.updates

Conteggio

Funzione, Scheduler

Orfano

Nota

Disponibile per Apache Airflow v2.6.3 e versioni successive.

dataset.orphaned

Conteggio

Funzione, Scheduler

FailedCeleryTaskExecution

Nota

Disponibile per Apache Airflow v2.4.3 e versioni successive.

celery.execute_command.failure

Conteggio

Funzione, Celery

FilePathQueueUpdateCount

Nota

Disponibile per Apache Airflow v2.6.3 e versioni successive.

dag_processing.file_path_queue_update_count

Conteggio

Funzione, Scheduler

CriticalSectionBusy

scheduler.critical_section_busy

Conteggio

Funzione, Scheduler

DagBagSize

dagbag_size

Conteggio

Funzione, elaborazione DAG

DagCallbackExceptions

dag.callback_exceptions

Conteggio

DAG, Tutti

Tentativi falliti SLAEmail

Nota

Non disponibile per Apache Airflow v3.0.6 e versioni successive.

sla_email_notification_failure

Conteggio

Funzione, Scheduler

TaskInstanceFinished

ti.finish. {id_giorno}. {id_attività}. {stato}

Conteggio

GIORNO, {dag_id}

Attività, {task_id}

Stato, {state}

JobEnd

{job_name} _end

Conteggio

Job, {job_name}

JobHeartbeatFailure

{job_name} _heartbeat_failure

Conteggio

Job, {job_name}

JobStart

{job_name} _inizio

Conteggio

Job, {job_name}

ManagerStalls

dag_processing.manager_stalls

Conteggio

Funzione, elaborazione DAG

OperatorFailures

operator_failures_ {operator_name}

Conteggio

Operatore, {operator_name}

OperatorSuccesses

operator_successes_ {operator_name}

Conteggio

Operatore, {operator_name}

OtherCallbackCount

Nota

Disponibile in Apache Airflow v2.6.3 e versioni successive.

dag_processing.other_callback_count

Conteggio

Funzione, Scheduler

Processes

dag_processing.processes

Conteggio

Funzione, elaborazione DAG

SchedulerHeartbeat

scheduler_heartbeat

Conteggio

Funzione, Scheduler

StartedTaskInstances

ti.start. {id_giorno}. {id_attività}

Conteggio

DAG, Tutti

Attività, tutte

SlaCallbackCount

dag_processing.sla_callback_count

Nota

Disponibile per Apache Airflow v2.6.3 e versioni successive.

Conteggio

Funzione, Scheduler

TasksKilledExternally

scheduler.tasks.killed_externally

Conteggio

Funzione, Scheduler

TaskTimeoutError

celery.task_timeout_error

Conteggio

Funzione, Celery

TaskInstanceCreatedUsingOperator

task_instance_created- {operator_name}

Conteggio

Operatore, {operator_name}

TaskInstancePreviouslySucceeded

precedente_successo_successo

Conteggio

DAG, Tutti

Attività, tutte

TaskInstanceFailures

ti_failures

Conteggio

DAG, Tutti

Attività, tutte

TaskInstanceSuccesses

ti_successes

Conteggio

DAG, Tutti

Attività, tutte

TaskRemovedFromDAG

task_removed_da_dag. {id_giorno}

Conteggio

DAG, {dag_id}

TaskRestoredToDAG

task_ripristinato_dag. {id_giorno}

Conteggio

DAG, {dag_id}

TriggersSucceeded

Nota

Disponibile per Apache Airflow v2.7.2 e versioni successive.

triggers.riuscito

Conteggio

Funzione, Trigger

TriggersFailed

Nota

Disponibile per Apache Airflow v2.7.2 e versioni successive.

triggers.failed

Conteggio

Funzione, Trigger

TriggersBlockedMainThread

Nota

Disponibile per Apache Airflow v2.7.2 e versioni successive.

triggers.blocked_main_thread

Conteggio

Funzione, Trigger

TriggerHeartbeat

Nota

Disponibile per Apache Airflow v2.8.1 e versioni successive.

triggerer_heartbeat

Conteggio

Funzione, Triggerer

TaskInstanceCreatedUsingOperator

airflow.task_instance_created_ {operator_name}

Nota

Disponibile per Apache Airflow v2.7.2 e versioni successive.

Conteggio

Operatore, {operator_name}

ZombiesKilled

zombie uccisi

Conteggio

DAG, Tutti

Attività, tutte

Misuratori Apache Airflow

Le metriche di Apache Airflow in questa sezione contengono dati sugli Apache Airflow Gauges.

CloudWatch parametro Metrica Apache Airflow Unità Dimensione

DAGFileRefreshError

dag_file_refresh_error

Conteggio

Funzione, elaborazione DAG

ImportErrors

dag_processing.import_errors

Conteggio

Funzione, elaborazione DAG

ExceptionFailures

smart_sensor_operator.exception_failures

Conteggio

Funzione, Smart Sensor Operator

ExecutedTasks

smart_sensor_operator.executed_tasks

Conteggio

Funzione, Smart Sensor Operator

InfraFailures

smart_sensor_operator.infra_failures

Conteggio

Funzione, Smart Sensor Operator

LoadedTasks

smart_sensor_operator.loaded_tasks

Conteggio

Funzione, Smart Sensor Operator

TotalParseTime

dag_processing.total_parse_time

Secondi

Funzione, elaborazione DAG

TriggeredDagRuns

Nota

Disponibile in Apache Airflow v2.6.3 e versioni successive.

dataset.triggered_dagruns

Conteggio

Funzione, Scheduler

TriggersRunning

Nota

Disponibile in Apache Airflow v2.7.2 e versioni successive.

triggers.running. {hostname}

Conteggio

Funzione, grilletto

HostName, {hostname}

PoolDeferredSlots

Nota

Disponibile in Apache Airflow v2.7.2 e versioni successive.

pool.deferred_slots. {pool_name}

Conteggio

Piscina, {pool_name}

DAGFileProcessingLastRunSecondsAgo

dag_processing.last_run.seconds_ago. {nome_file}

Secondi

Nome file DAG, {dag_filename}

OpenSlots

esecutore.open_slots

Conteggio

Funzione, Executor

OrphanedTasksAdopted

scheduler.orphaned_tasks.adopted

Conteggio

Funzione, Scheduler

OrphanedTasksCleared

scheduler.orphaned_tasks.cleared

Conteggio

Funzione, Scheduler

PokedExceptions

smart_sensor_operator.poked_exception

Conteggio

Funzione, Smart Sensor Operator

PokedSuccess

smart_sensor_operator.poked_success

Conteggio

Funzione, Smart Sensor Operator

PokedTasks

smart_sensor_operator.poked_tasks

Conteggio

Funzione, Smart Sensor Operator

PoolFailures

pool.open_slots. {pool_name}

Conteggio

Piscina, {pool_name}

PoolStarvingTasks

pool.starving_tasks. {pool_name}

Conteggio

Piscina, {pool_name}

PoolOpenSlots

pool.open_slots. {pool_name}

Conteggio

Piscina, {pool_name}

PoolQueuedSlots

pool.queued_slots. {nome_pool}

Conteggio

Piscina, {pool_name}

PoolRunningSlots

pool.running_slots. {pool_name}

Conteggio

Piscina, {pool_name}

ProcessorTimeouts

dag_processing.processor_timeouts

Conteggio

Funzione, elaborazione DAG

QueuedTasks

executor.queued_tasks

Conteggio

Funzione, Executor

RunningTasks

executor.running_tasks

Conteggio

Funzione, Executor

TasksExecutable

scheduler.tasks.executable

Conteggio

Funzione, Scheduler

TasksPending

Nota

Non si applica ad Apache Airflow v2.2 e versioni successive.

scheduler.tasks.pending

Conteggio

Funzione, Scheduler

TasksRunning

scheduler.tasks.running

Conteggio

Funzione, Scheduler

TasksStarving

scheduler.tasks.starving

Conteggio

Funzione, Scheduler

TasksWithoutDagRun

scheduler.tasks.without_dagrun

Conteggio

Funzione, Scheduler

DAGFileProcessingLastNumOfDbQueries

Nota

Disponibile in Apache Airflow v2.10.1 e versioni successive.

dag_processing.last_num_of_db_queries. {nome_file}

Conteggio

Nome file DAG, {dag_filename}

PoolScheduledSlots

Nota

Disponibile in Apache Airflow v2.10.1 e versioni successive.

pool.scheduled_slots. {pool_name}

Conteggio

Piscina, {pool_name}

TaskCpuUsage

Nota

Disponibile in Apache Airflow v2.10.1 e versioni successive.

utilizzo della CPU. {id_giorno}. {id_attività}

Percentuale

DAG, {dag_id}

Attività, {task_id}

TaskMemoryUsage

Nota

Disponibile in Apache Airflow v2.10.1 e versioni successive.

mem.usage. {id_giorno}. {id_attività}

Percentuale

DAG, {dag_id}

Attività, {task_id}

Timer Apache Airflow

Le metriche di Apache Airflow in questa sezione contengono dati sugli Apache Airflow Timer.

CloudWatch parametro Metrica Apache Airflow Unità Dimensione

Raccogli DBDags

collect_db_dags

Millisecondi

Funzione, elaborazione DAG

CriticalSectionDuration

scheduler.critical_section_duration

Millisecondi

Funzione, Scheduler

CriticalSectionQueryDuration

Nota

Disponibile per Apache Airflow v2.5.1 e versioni successive.

scheduler.critical_section_query_duration

Millisecondi

Funzione, Scheduler

DAGDependencyControlla

dagrun.dependency-check. {id_giorno}

Millisecondi

DAG, {dag_id}

DAGDurationFallito

dagrun.duration.failed. {dato_id}

Millisecondi

DAG, {dag_id}

DAGDurationSuccesso

dagrun.duration.success. {id_giorno}

Millisecondi

DAG, {dag_id}

DAGFileProcessingLastDuration

dag_processing.last_duration. {nome_file}

Secondi

Nome file DAG, {dag_filename}

DAGScheduleRitardo

dagrun.schedule_delay. {id_giorno}

Millisecondi

DAG, {dag_id}

FirstTaskSchedulingDelay

dagrun. {dag_id} .first_task_scheduling_delay

Millisecondi

Giorno, {dat_id}

SchedulerLoopDuration

Nota

Disponibile per Apache Airflow v2.5.1 e versioni successive.

scheduler.scheduler_loop_duration

Millisecondi

Funzione, Scheduler

TaskInstanceDuration

giorno. {id_giorno}. {task_id} .durata

Millisecondi

DAG, {dat_id}

Attività, {task_id}

TaskInstanceQueuedDuration

giorno. {dag_id}. {task_id}.durata_in coda

Nota

Disponibile per Apache Airflow v2.7.2 e versioni successive.

Millisecondi

DAG, {dag_id}

Attività, {task_id}

TaskInstanceScheduledDuration

Nota

Disponibile per Apache Airflow v2.7.2 e versioni successive.

giorno. {dag_id}. {task_id}.durata_pianificata

Millisecondi

GIORNO, {dag_id}

Attività, {task_id}

Scelta delle metriche da segnalare

Puoi scegliere quali metriche di Apache Airflow vengono emesse CloudWatch o bloccate da Apache Airflow, utilizzando le seguenti opzioni di configurazione di Amazon MWAA:

  • metrics.metrics_allow_list— Un elenco di prefissi separati da virgole che puoi utilizzare per selezionare a quali metriche vengono emesse dal tuo ambiente. CloudWatch Utilizzate questa opzione se desiderate che Apache Airflow non invii tutte le metriche disponibili e selezioni invece un sottoinsieme di elementi. Ad esempio, scheduler,executor,dagrun.

  • metrics.metrics_block_list— Un elenco di prefissi separati da virgole per filtrare le metriche che iniziano con gli elementi dell'elenco. Ad esempio, scheduler,executor,dagrun.

Se si configurano entrambi metrics.metrics_allow_list emetrics.metrics_block_list, Apache Airflow ignora. metrics.metrics_block_list Se configuri metrics.metrics_block_list ma non lo faimetrics.metrics_allow_list, Apache Airflow filtra gli elementi specificati in. metrics.metrics_block_list

Nota

Le opzioni di metrics.metrics_block_list configurazione metrics.metrics_allow_list e si applicano solo ad Apache Airflow v2.6.3 e versioni successive. Per la versione precedente di Apache Airflow metrics.statsd_allow_list usa e invece. metrics.statsd_block_list

Fasi successive

  • Esplora il funzionamento dell'API Amazon MWAA utilizzato per pubblicare i parametri di salute dell'ambiente su. PublishMetrics