CloudWatch の Apache Airflow 環境メトリクス

DAG

特定の Apache Airflow DAG 名を示します。

DAG ファイル名

特定の Apache Airflow DAG ファイル名を示します。

関数

このディメンションは、CloudWatch のメトリクスのグループ化を改善するために使用されます。

ジョブ

スケジューラによって実行される Apache Airflow ジョブを示します。の値は常に ですJob。

演算子

特定の Apache Airflow オペレーターを示します。

プール

特定の Apache Airflow ワーカープールを示します。

タスク

特定の Apache Airflow タスクを示します。

HostName

実行中の特定の Apache Airflow プロセスのホスト名を示します。

SLAMissed

sla_missed

カウント

関数、スケジュール

FailedSLACallback

sla_callback_notification_failure

カウント

関数、スケジュール

更新

dataset.updates

カウント

関数、スケジュール

Orphaned

dataset.orphaned

カウント

関数、スケジュール

FailedCeleryTaskExecution

celery.execute_command.failure

カウント

関数、Celery

FilePathQueueUpdateCount

dag_processing.file_path_queue_update_count

カウント

関数、スケジュール

CriticalSectionBusy

scheduler.critical_section_busy

カウント

関数、スケジュール

DagBagSize

dagbag_size

カウント

関数、DAG 処理

DagCallbackExceptions

dag.callback_exceptions

カウント

DAG、すべて

FailedSLAEmailAttempts

sla_email_notification_failure

カウント

関数、スケジュール

TaskInstanceFinished

ti.finish.{dag_id}.{task_id}.{state}

カウント

DAG, {dag_id}

Task, {task_id}

State, {state}

JobEnd

{job_name}_end

カウント

Job, {job_name}

JobHeartbeatFailure

{job_name}_heartbeat_failure

カウント

Job, {job_name}

JobStart

{job_name}_start

カウント

Job, {job_name}

ManagerStalls

dag_processing.manager_stalls

カウント

関数、DAG 処理

OperatorFailures

operator_failures_{operator_name}

カウント

Operator, {operator_name}

OperatorSuccesses

operator_successes_{operator_name}

カウント

Operator, {operator_name}

OtherCallbackCount

dag_processing.other_callback_count

カウント

関数、スケジュール

プロセス

dag_processing.processes

カウント

関数、DAG 処理

SchedulerHeartbeat

scheduler_heartbeat

カウント

関数、スケジュール

StartedTaskInstances

ti.start.{dag_id}.{task_id}

カウント

DAG、すべて

タスク、すべて

SlaCallbackCount

dag_processing.sla_callback_count

カウント

関数、スケジュール

TasksKilledExternally

scheduler.tasks.killed_externally

カウント

関数、スケジュール

TaskTimeoutError

celery.task_timeout_error

カウント

関数、Celery

TaskInstanceCreatedUsingOperator

task_instance_created-{operator_name}

カウント

Operator, {operator_name}

TaskInstancePreviouslySucceeded

previously_succeeded

カウント

DAG、すべて

タスク、すべて

TaskInstanceFailures

ti_failure

カウント

DAG、すべて

タスク、すべて

TaskInstanceSuccesses

ti_success

カウント

DAG、すべて

タスク、すべて

TaskRemovedFromDAG

task_removed_from_dag.{dag_id}

カウント

DAG, {dag_id}

TaskRestoredToDAG

task_restored_to_dag.{dag_id}

カウント

DAG, {dag_id}

TriggersSucceeded

triggers.succeeded

カウント

関数、トリガー

TriggersFailed

triggers.failed

カウント

関数、トリガー

TriggersBlockedMainThread

triggers.blocked_main_thread

カウント

関数、トリガー

TriggerHeartbeat

triggerer_heartbeat

カウント

関数、トリガー

TaskInstanceCreatedUsingOperator

airflow.task_instance_created_{operator_name}

カウント

演算子、{operator_name}

ZombiesKilled

zombies_killed

カウント

DAG、すべて

タスク、すべて

DAGFileRefreshError

dag_file_refresh_error

カウント

関数、DAG 処理

ImportErrors

dag_processing.import_errors

カウント

関数、DAG 処理

ExceptionFailures

smart_sensor_operator.exception_failures

カウント

関数、スマートセンサーオペレーター

ExecutedTasks

smart_sensor_operator.executed_tasks

カウント

関数、スマートセンサーオペレーター

InfraFailures

smart_sensor_operator.infra_failures

カウント

関数、スマートセンサーオペレーター

LoadedTasks

smart_sensor_operator.loaded_tasks

カウント

関数、スマートセンサーオペレーター

TotalParseTime

dag_processing.total_parse_time

[秒]

関数、DAG 処理

TriggeredDagRuns

dataset.triggered_dagruns

カウント

関数、スケジュール

TriggersRunning

triggers.running.{hostname}

カウント

関数、トリガー

HostName, {hostname}

PoolDeferredSlots

pool.deferred_slots.{pool_name}

カウント

Pool, {pool_name}

DAGFileProcessingLastRunSecondsAgo

dag_processing.last_run.seconds_ago.{dag_filename}

[秒]

DAG Filename, {dag_filename}

OpenSlots

executor.open_slots

カウント

関数、エグゼキューター

OrphanedTasksAdopted

scheduler.orphaned_tasks.adopted

カウント

関数、スケジュール

OrphanedTasksCleared

scheduler.orphaned_tasks.cleared

カウント

関数、スケジュール

PokedExceptions

smart_sensor_operator.poked_exception

カウント

関数、スマートセンサーオペレーター

PokedSuccess

smart_sensor_operator.poked_success

カウント

関数、スマートセンサーオペレーター

PokedTasks

smart_sensor_operator.poked_tasks

カウント

関数、スマートセンサーオペレーター

PoolFailures

pool.open_slots.{pool_name}

カウント

Pool, {pool_name}

PoolStarvingTasks

pool.starving_tasks.{pool_name}

カウント

Pool, {pool_name}

PoolOpenSlots

pool.open_slots.{pool_name}

カウント

Pool, {pool_name}

PoolQueuedSlots

pool.queued_slots.{pool_name}

カウント

Pool, {pool_name}

PoolRunningSlots

pool.running_slots.{pool_name}

カウント

Pool, {pool_name}

ProcessorTimeouts

dag_processing.processor_timeouts

カウント

関数、DAG 処理

QueuedTasks

executor.queued_tasks

カウント

関数、エグゼキューター

RunningTasks

executor.running_tasks

カウント

関数、エグゼキューター

TasksExecutable

scheduler.tasks.executable

カウント

関数、スケジュール

TasksPending

scheduler.tasks.pending

カウント

関数、スケジュール

TasksRunning

scheduler.tasks.running

カウント

関数、スケジュール

TasksStarving

scheduler.tasks.starving

カウント

関数、スケジュール

TasksWithoutDagRun

scheduler.tasks.without_dagrun

カウント

関数、スケジュール

DAGFileProcessingLastNumOfDbQueries

dag_processing.last_num_of_db_queries.{dag_filename}

カウント

DAG Filename, {dag_filename}

PoolScheduledSlots

pool.scheduled_slots.{pool_name}

カウント

Pool, {pool_name}

TaskCpuUsage

cpu.usage.{dag_id}.{task_id}

割合 (%)

DAG, {dag_id}

Task, {task_id}

TaskMemoryUsage

mem.usage.{dag_id}.{task_id}

割合 (%)

DAG, {dag_id}

Task, {task_id}

CollectDBDags

collect_db_dags

ミリ秒

関数、DAG 処理

CriticalSectionDuration

scheduler.critical_section_duration

ミリ秒

関数、スケジュール

CriticalSectionQueryDuration

scheduler.critical_section_query_duration

ミリ秒

関数、スケジュール

DAGDependencyCheck

dagrun.dependency-check.{dag_id}

ミリ秒

DAG, {dag_id}

DAGDurationFailed

dagrun.duration.failed.{dag_id}

ミリ秒

DAG, {dag_id}

DAGDurationSuccess

dagrun.duration.success.{dag_id}

ミリ秒

DAG, {dag_id}

DAGFileProcessingLastDuration

dag_processing.last_duration.{dag_filename}

[秒]

DAG Filename, {dag_filename}

DAGScheduleDelay

dagrun.schedule_delay.{dag_id}

ミリ秒

DAG, {dag_id}

FirstTaskSchedulingDelay

dagrun.{dag_id}.first_task_scheduling_delay

ミリ秒

DAG, {dag_id}

SchedulerLoopDuration

scheduler.scheduler_loop_duration

ミリ秒

関数、スケジュール

TaskInstanceDuration

dag.{dag_id}.{task_id}.duration

ミリ秒

DAG, {dag_id}

Task, {task_id}

TaskInstanceQueuedDuration

dag.{dag_id}.{task_id}.queued_duration

ミリ秒

DAG, {dag_id}

Task, {task_id}

TaskInstanceScheduledDuration

dag.{dag_id}.{task_id}.scheduled_duration

ミリ秒

DAG, {dag_id}

Task, {task_id}