CloudWatch의 Apache Airflow 환경 지표

DAG

특정 Apache Airflow DAG 이름을 나타냅니다.

DAG 파일 이름

특정 Apache Airflow DAG 파일 이름을 나타냅니다.

함수

이 차원은 CloudWatch의 지표 그룹화를 개선하는 데 사용됩니다.

작업

스케줄러에서 실행되는 Apache Airflow 작업을 나타냅니다. 항상 값이 입니다Job.

연산자

특정 Apache Airflow 연산자를 나타냅니다.

풀

특정 Apache Airflow 작업자 풀을 나타냅니다.

작업

특정 Apache Airflow 작업을 나타냅니다.

HostName

실행 중인 특정 Apache Airflow 프로세스의 호스트 이름을 나타냅니다.

SLAMissed

sla_missed

개수

함수, 스케줄러

FailedSLACallback

sla_callback_notification_failure

개수

함수, 스케줄러

업데이트

dataset.updates

개수

함수, 스케줄러

Orphaned

dataset.orphaned

개수

함수, 스케줄러

FailedCeleryTaskExecution

celery.execute_command.failure

개수

함수, Celery

FilePathQueueUpdateCount

dag_processing.file_path_queue_update_count

개수

함수, 스케줄러

CriticalSectionBusy

scheduler.critical_section_busy

개수

함수, 스케줄러

DagBagSize

dagbag_size

개수

함수, DAG 프로세싱

DagCallbackExceptions

dag.callback_exceptions

개수

DAG, 모두

FailedSLAEmailAttempts

sla_email_notification_failure

개수

함수, 스케줄러

TaskInstanceFinished

ti.finish.{dag_id}.{task_id}.{state}

개수

DAG, {dag_id}

작업, {task_id}

상태, {state}

JobEnd

{job_name}_end

개수

작업, {job_name}

JobHeartbeatFailure

{job_name}_heartbeat_failure

개수

작업, {job_name}

JobStart

{job_name}_start

개수

작업, {job_name}

ManagerStalls

dag_processing.manager_stalls

개수

함수, DAG 프로세싱

OperatorFailures

operator_failures_{operator_name}

개수

연산자, {operator_name}

OperatorSuccesses

operator_successes_{operator_name}

개수

연산자, {operator_name}

OtherCallbackCount

dag_processing.other_callback_count

개수

함수, 스케줄러

프로세스

dag_processing.processes

개수

함수, DAG 프로세싱

SchedulerHeartbeat

scheduler_heartbeat

개수

함수, 스케줄러

StartedTaskInstances

ti.start.{dag_id}.{task_id}

개수

DAG, 모두

작업, 모두

SlaCallbackCount

dag_processing.sla_callback_count

개수

함수, 스케줄러

TasksKilledExternally

scheduler.tasks.killed_externally

개수

함수, 스케줄러

TaskTimeoutError

celery.task_timeout_error

개수

함수, Celery

TaskInstanceCreatedUsingOperator

task_instance_created-{operator_name}

개수

연산자, {operator_name}

TaskInstancePreviouslySucceeded

previously_succeeded

개수

DAG, 모두

작업, 모두

TaskInstanceFailures

ti_failures

개수

DAG, 모두

작업, 모두

TaskInstanceSuccesses

ti_successes

개수

DAG, 모두

작업, 모두

TaskRemovedFromDAG

task_removed_from_dag.{dag_id}

개수

DAG, {dag_id}

TaskRestoredToDAG

task_restored_to_dag.{dag_id}

개수

DAG, {dag_id}

TriggersSucceeded

triggers.succeeded

개수

함수, 트리거

TriggersFailed

triggers.failed

개수

함수, 트리거

TriggersBlockedMainThread

triggers.blocked_main_thread

개수

함수, 트리거

TriggerHeartbeat

triggerer_heartbeat

개수

함수, 트리거

TaskInstanceCreatedUsingOperator

airflow.task_instance_created_{operator_name}

개수

연산자, {operator_name}

ZombiesKilled

zombies_killed

개수

DAG, 모두

작업, 모두

DAGFileRefreshError

dag_file_refresh_error

개수

함수, DAG 프로세싱

ImportErrors

dag_processing.import_errors

개수

함수, DAG 프로세싱

ExceptionFailures

smart_sensor_operator.exception_failures

개수

함수, 스마트 센서 연산자

ExecutedTasks

smart_sensor_operator.executed_tasks

개수

함수, 스마트 센서 연산자

InfraFailures

smart_sensor_operator.infra_failures

개수

함수, 스마트 센서 연산자

LoadedTasks

smart_sensor_operator.loaded_tasks

개수

함수, 스마트 센서 연산자

TotalParseTime

dag_processing.total_parse_time

초

함수, DAG 프로세싱

TriggeredDagRuns

dataset.triggered_dagruns

개수

함수, 스케줄러

TriggersRunning

triggers.running.{hostname}

개수

함수, 트리거

호스트 이름, {hostname}

PoolDeferredSlots

pool.deferred_slots. {pool_name}

개수

풀, {pool_name}

DAGFileProcessingLastRunSecondsAgo

dag_processing.last_run.seconds_ago.{dag_filename}

초

DAG 파일 이름, {dag_filename}

OpenSlots

executor.open_slots

개수

함수, 실행기

OrphanedTasksAdopted

scheduler.orphaned_tasks.adopted

개수

함수, 스케줄러

OrphanedTasksCleared

scheduler.orphaned_tasks.cleared

개수

함수, 스케줄러

PokedExceptions

smart_sensor_operator.poked_exception

개수

함수, 스마트 센서 연산자

PokedSuccess

smart_sensor_operator.poked_success

개수

함수, 스마트 센서 연산자

PokedTasks

smart_sensor_operator.poked_tasks

개수

함수, 스마트 센서 연산자

PoolFailures

pool.open_slots.{pool_name}

개수

풀, {pool_name}

PoolStarvingTasks

pool.starving_tasks.{pool_name}

개수

풀, {pool_name}

PoolOpenSlots

pool.open_slots.{pool_name}

개수

풀, {pool_name}

PoolQueuedSlots

pool.queued_slots.{pool_name}

개수

풀, {pool_name}

PoolRunningSlots

pool.running_slots.{pool_name}

개수

풀, {pool_name}

ProcessorTimeouts

dag_processing.processor_timeouts

개수

함수, DAG 프로세싱

QueuedTasks

executor.queued_tasks

개수

함수, 실행기

RunningTasks

executor.running_tasks

개수

함수, 실행기

TasksExecutable

scheduler.tasks.executable

개수

함수, 스케줄러

TasksPending

scheduler.tasks.pending

개수

함수, 스케줄러

TasksRunning

scheduler.tasks.running

개수

함수, 스케줄러

TasksStarving

scheduler.tasks.starving

개수

함수, 스케줄러

TasksWithoutDagRun

scheduler.tasks.without_dagrun

개수

함수, 스케줄러

DAGFileProcessingLastNumOfDbQueries

dag_processing.last_num_of_db_queries.{dag_filename}

개수

DAG 파일 이름, {dag_filename}

PoolScheduledSlots

pool.scheduled_slots.{pool_name}

개수

풀, {pool_name}

TaskCpuUsage

cpu.usage.{dag_id}.{task_id}

%

DAG, {dag_id}

작업, {task_id}

TaskMemoryUsage

mem.usage.{dag_id}.{task_id}

%

DAG, {dag_id}

작업, {task_id}

CollectDBDags

collect_db_dags

밀리초

함수, DAG 프로세싱

CriticalSectionDuration

scheduler.critical_section_duration

밀리초

함수, 스케줄러

CriticalSectionQueryDuration

scheduler.critical_section_query_duration

밀리초

함수, 스케줄러

DAGDependencyCheck

dagrun.dependency-check.{dag_id}

밀리초

DAG, {dag_id}

DAGDurationFailed

dagrun.duration.failed.{dag_id}

밀리초

DAG, {dag_id}

DAGDurationSuccess

dagrun.duration.success.{dag_id}

밀리초

DAG, {dag_id}

DAGFileProcessingLastDuration

dag_processing.last_duration.{dag_filename}

초

DAG 파일 이름, {dag_filename}

DAGScheduleDelay

dagrun.schedule_delay.{dag_id}

밀리초

DAG, {dag_id}

FirstTaskSchedulingDelay

dagrun.{dag_id}.first_task_scheduling_delay

밀리초

DAG, {dag_id}

SchedulerLoopDuration

scheduler.scheduler_loop_duration

밀리초

함수, 스케줄러

TaskInstanceDuration

dag.{dag_id}.{task_id}.duration

밀리초

DAG, {dag_id}

작업, {task_id}

TaskInstanceQueuedDuration

dag.{dag_id}.{task_id}.queued_duration

밀리초

DAG, {dag_id}

작업, {task_id}

TaskInstanceScheduledDuration

dag.{dag_id}.{task_id}.scheduled_duration

밀리초

DAG, {dag_id}

작업, {task_id}