Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Metrik lingkungan Apache Airflow di CloudWatch
Apache Airflow v2 dan v3 sudah disiapkan untuk mengumpulkan dan mengirim metrik
Daftar Isi
Istilah
- Namespace
-
Namespace adalah wadah untuk CloudWatch metrik AWS layanan. Untuk Amazon MWAA, namespace adalah AmazonMWAA.
- CloudWatch metrik
-
CloudWatch Metrik mewakili kumpulan titik data yang diurutkan waktu yang spesifik untuk CloudWatch.
- Metrik Aliran Udara Apache
-
Met rik
khusus untuk Apache Airflow. - Dimensi
-
Dimensi adalah name/value pasangan yang merupakan bagian dari identitas metrik.
- Unit
-
Statistik memiliki satuan ukuran. Untuk Amazon MWAA, unit termasuk Hitungan, Detik, dan Milidetik. Untuk Amazon MWAA, unit ditetapkan berdasarkan unit dalam metrik Aliran Udara asli.
Dimensi
Bagian ini menjelaskan pengelompokan CloudWatch Dimensi untuk metrik Apache Airflow di CloudWatch.
| Dimensi | Deskripsi |
|---|---|
|
HARI |
Menunjukkan nama DAG Apache Airflow tertentu. |
|
Nama file DAG |
Menunjukkan nama file DAG Apache Airflow tertentu. |
|
Fungsi |
Dimensi ini digunakan untuk meningkatkan pengelompokan metrik di CloudWatch. |
|
Pekerjaan |
Menunjukkan pekerjaan Apache Airflow yang dijalankan oleh penjadwal. Selalu memiliki nilai |
|
Operator |
Menunjukkan operator Apache Airflow tertentu. |
|
Kolam Renang |
Menunjukkan kumpulan pekerja Apache Airflow tertentu. |
|
Tugas |
Menunjukkan tugas Apache Airflow tertentu. |
|
HostName |
Menunjukkan nama host untuk proses Apache Airflow tertentu yang sedang berjalan. |
Mengakses metrik di CloudWatch konsol
Bagian ini menjelaskan cara mengakses metrik kinerja CloudWatch untuk DAG tertentu.
Untuk mengakses metrik kinerja untuk dimensi
-
Buka halaman Metrik
di CloudWatch konsol. -
Pilih milik Anda Wilayah AWS.
-
Pilih namespace AmazonmWAA.
-
Di tab Semua metrik, pilih dimensi. Misalnya, DAG, Lingkungan.
-
Pilih CloudWatch metrik untuk dimensi. Misalnya, TaskInstanceSuccesses atau TaskInstanceDuration. Pilih Grafik semua hasil pencarian.
-
Pilih tab Graphed metrics untuk mengakses statistik kinerja untuk metrik Apache Airflow, seperti DAG, Environment, Task.
Metrik Apache Airflow tersedia di CloudWatch
Bagian ini menjelaskan metrik dan dimensi Apache Airflow yang dikirim ke CloudWatch.
Penghitung Aliran Udara Apache
Metrik Apache Airflow di bagian ini berisi data tentang Pengh itung Aliran Udara Apache
| CloudWatch metrik | Metrik Aliran Udara Apache | Unit | Dimensi |
|---|---|---|---|
|
SlamiSsed catatanHanya tersedia untuk Apache Airflow v2.4.3 hingga v2.10.3. |
sla_terlewatkan |
Hitungan |
Fungsi, Penjadwal |
|
GagalSlacallback catatanHanya tersedia untuk Apache Airflow v2.4.3 hingga v2.10.3. |
sla_callback_notifikasi_kegagalan |
Hitungan |
Fungsi, Penjadwal |
|
Pembaruan catatanTersedia untuk Apache Airflow v2.6.3 dan yang lebih baru. |
Pembaruan kumpulan data |
Hitungan |
Fungsi, Penjadwal |
|
Yatim piatu catatanTersedia untuk Apache Airflow v2.6.3 dan yang lebih baru. |
dataset.yatim piatu |
Hitungan |
Fungsi, Penjadwal |
|
FailedCeleryTaskExecution catatanTersedia untuk Apache Airflow v2.4.3 dan yang lebih baru. |
selery.execute_command.kegagalan |
Hitungan |
Fungsi, Seledri |
|
FilePathQueueUpdateCount catatanTersedia untuk Apache Airflow v2.6.3 dan yang lebih baru. |
dag_memproses.file_path_queue_update_count |
Hitungan |
Fungsi, Penjadwal |
|
CriticalSectionBusy |
Scheduler.critical_section_busy |
Hitungan |
Fungsi, Penjadwal |
|
DagBagSize |
ukuran dagbag_ |
Hitungan |
Fungsi, Pengolahan DAG |
|
DagCallbackExceptions |
dag.callback_pengecualian |
Hitungan |
DAG, Semua |
|
FailedSLAEmailAttempts catatanTidak tersedia untuk Apache Airflow v3.0.6 dan yang lebih baru. |
sla_email_notifikasi_kegagalan |
Hitungan |
Fungsi, Penjadwal |
|
TaskInstanceFinished |
ti.selesai. {dag_id}. {id_tugas}. {negara} |
Hitungan |
HARI, {dag_id} Tugas, {task_id} Negara bagian, {negara bagian} |
|
JobEnd |
{nama_pekerjaan} _akhir |
Hitungan |
Pekerjaan, {job_name} |
|
JobHeartbeatFailure |
{nama_pekerjaan} _gagal_detak jantung |
Hitungan |
Pekerjaan, {job_name} |
|
JobStart |
{nama_pekerjaan} _mulai |
Hitungan |
Pekerjaan, {job_name} |
|
ManagerStalls |
dag_processing.manager_stall |
Hitungan |
Fungsi, Pengolahan DAG |
|
OperatorFailures |
operator_failures_ {nama_operator} |
Hitungan |
Operator, {operator_name} |
|
OperatorSuccesses |
operator_successes_ {nama_operator} |
Hitungan |
Operator, {operator_name} |
|
OtherCallbackCount catatanTersedia di Apache Airflow v2.6.3 dan yang lebih baru. |
dag_memproses.lain_callback_count |
Hitungan |
Fungsi, Penjadwal |
|
Proses |
proses pengolahan dag_hari |
Hitungan |
Fungsi, Pengolahan DAG |
|
SchedulerHeartbeat |
penjadwal_detak jantung |
Hitungan |
Fungsi, Penjadwal |
|
StartedTaskInstances |
ti.mulai. {dag_id}. {id_tugas} |
Hitungan |
DAG, Semua Tugas, Semua |
|
SlaCallbackCount |
dag_processing.sla_callback_count catatanTersedia untuk Apache Airflow v2.6.3 dan yang lebih baru. |
Hitungan |
Fungsi, Penjadwal |
|
TasksKilledExternally |
penjadwal.tasks.killed_eksternal |
Hitungan |
Fungsi, Penjadwal |
|
TaskTimeoutError |
celery.task_timeout_error |
Hitungan |
Fungsi, Seledri |
|
TaskInstanceCreatedUsingOperator |
tugas_instance_diciptakan- {nama_operator} |
Hitungan |
Operator, {operator_name} |
|
TaskInstancePreviouslySucceeded |
sebelumnya_berhasil |
Hitungan |
DAG, Semua Tugas, Semua |
|
TaskInstanceFailures |
ti_kegagalan |
Hitungan |
DAG, Semua Tugas, Semua |
|
TaskInstanceSuccesses |
ti_sukses |
Hitungan |
DAG, Semua Tugas, Semua |
|
TaskRemovedFromDAG |
tugas_menghapus_dari_hari. {dag_id} |
Hitungan |
HARI, {dag_id} |
|
TaskRestoredToDAG |
tugas_dipulihkan_ke_hari. {dag_id} |
Hitungan |
HARI, {dag_id} |
|
TriggersSucceeded catatanTersedia untuk Apache Airflow v2.7.2 dan yang lebih baru. |
pemicu.berhasil |
Hitungan |
Fungsi, Pemicu |
|
TriggersFailed catatanTersedia untuk Apache Airflow v2.7.2 dan yang lebih baru. |
pemicu. Gagal |
Hitungan |
Fungsi, Pemicu |
|
TriggersBlockedMainThread catatanTersedia untuk Apache Airflow v2.7.2 dan yang lebih baru. |
triggers.blocked_uta_utama |
Hitungan |
Fungsi, Pemicu |
|
TriggerHeartbeat catatanTersedia untuk Apache Airflow v2.8.1 dan yang lebih baru. |
triggerer_detak jantung |
Hitungan |
Fungsi, Pemicu |
|
TaskInstanceCreatedUsingOperator |
aliran air.tugas_instance_created_ catatanTersedia untuk Apache Airflow v2.7.2 dan yang lebih baru. |
Hitungan |
Operator, |
|
ZombiesKilled |
zombies_terbunuh |
Hitungan |
DAG, Semua Tugas, Semua |
Pengukur Aliran Udara Apache
Metrik Apache Airflow di bagian ini berisi data tentang Pengukur Aliran Udara Apache.
| CloudWatch metrik | Metrik Aliran Udara Apache | Unit | Dimensi |
|---|---|---|---|
|
DAGFileRefreshError |
kesalahan dag_file_refresh |
Hitungan |
Fungsi, Pengolahan DAG |
|
ImportErrors |
dag_memproses.import_error_ |
Hitungan |
Fungsi, Pengolahan DAG |
|
ExceptionFailures |
smart_sensor_operator.kegagalan luar biasa |
Hitungan |
Fungsi, Operator Sensor Cerdas |
|
ExecutedTasks |
smart_sensor_operator.tugas-tugas yang dieksekusi |
Hitungan |
Fungsi, Operator Sensor Cerdas |
|
InfraFailures |
smart_sensor_operator.infra_failure |
Hitungan |
Fungsi, Operator Sensor Cerdas |
|
LoadedTasks |
smart_sensor_operator.tugas-tugas yang dimuat |
Hitungan |
Fungsi, Operator Sensor Cerdas |
|
TotalParseTime |
dag_memproses.total_parse_waktu |
Detik |
Fungsi, Pengolahan DAG |
|
TriggeredDagRuns catatanTersedia di Apache Airflow v2.6.3 dan yang lebih baru. |
set data.triggered_dagruns |
Hitungan |
Fungsi, Penjadwal |
|
TriggersRunning catatanTersedia di Apache Airflow v2.7.2 dan yang lebih baru. |
pemicu.berjalan. |
Hitungan |
Fungsi, Pemicu HostName, |
|
PoolDeferredSlots catatanTersedia di Apache Airflow v2.7.2 dan yang lebih baru. |
pool.deferred_slot. |
Hitungan |
Kolam, {pool_name} |
|
DAGFileProcessingLastRunSecondsAgo |
dag_processing.last_run.detik_lalu. {dag_nama file} |
Detik |
Nama file DAG, {dag_filename} |
|
OpenSlots |
pelakutan.open_slots |
Hitungan |
Fungsi, Pelaksana |
|
OrphanedTasksAdopted |
penjadwal.orfaned_tasks.diadopsi |
Hitungan |
Fungsi, Penjadwal |
|
OrphanedTasksCleared |
penjadwal.orfaned_tasks.cleared |
Hitungan |
Fungsi, Penjadwal |
|
PokedExceptions |
smart_sensor_operator.poked_pengecualian |
Hitungan |
Fungsi, Operator Sensor Cerdas |
|
PokedSuccess |
smart_sensor_operator.poked_success |
Hitungan |
Fungsi, Operator Sensor Cerdas |
|
PokedTasks |
smart_sensor_operator.poked_tugas |
Hitungan |
Fungsi, Operator Sensor Cerdas |
|
PoolFailures |
pool.open_slots. {nama_kolam} |
Hitungan |
Kolam, {pool_name} |
|
PoolStarvingTasks |
pool.tugas_kelaparan. {nama_kolam} |
Hitungan |
Kolam, {pool_name} |
|
PoolOpenSlots |
pool.open_slots. {nama_kolam} |
Hitungan |
Kolam, {pool_name} |
|
PoolQueuedSlots |
pool.queued_slots. {nama_kolam} |
Hitungan |
Kolam, {pool_name} |
|
PoolRunningSlots |
pool.running_slots. {nama_kolam} |
Hitungan |
Kolam, {pool_name} |
|
ProcessorTimeouts |
dag_pengolahan.processor_timeout |
Hitungan |
Fungsi, Pengolahan DAG |
|
QueuedTasks |
executor.queued_tasks |
Hitungan |
Fungsi, Pelaksana |
|
RunningTasks |
eksekutor.running_tugas |
Hitungan |
Fungsi, Pelaksana |
|
TasksExecutable |
penjadwal.tugas.dapat dieksekusi |
Hitungan |
Fungsi, Penjadwal |
|
TasksPending catatanTidak berlaku untuk Apache Airflow v2.2 dan yang lebih baru. |
penjadwal.tasks.tertunda |
Hitungan |
Fungsi, Penjadwal |
|
TasksRunning |
penjadwal.tugas.berjalan |
Hitungan |
Fungsi, Penjadwal |
|
TasksStarving |
penjadwal.tasks.kelaparan |
Hitungan |
Fungsi, Penjadwal |
|
TasksWithoutDagRun |
penjadwal.tasks.tanpa_dagrun |
Hitungan |
Fungsi, Penjadwal |
|
DAGFileProcessingLastNumOfDbQueries catatanTersedia di Apache Airflow v2.10.1 dan yang lebih baru. |
dag_memproses.nom_terakhir_db_query. {dag_nama file} |
Hitungan |
Nama file DAG, {dag_filename} |
|
PoolScheduledSlots catatanTersedia di Apache Airflow v2.10.1 dan yang lebih baru. |
pool.scheduled_slots. {nama_kolam} |
Hitungan |
Kolam, {pool_name} |
|
TaskCpuUsage catatanTersedia di Apache Airflow v2.10.1 dan yang lebih baru. |
cpu.penggunaan. {dag_id}. {id_tugas} |
Persen |
HARI, {dag_id} Tugas, {task_id} |
|
TaskMemoryUsage catatanTersedia di Apache Airflow v2.10.1 dan yang lebih baru. |
mem.penggunaan. {dag_id}. {id_tugas} |
Persen |
HARI, {dag_id} Tugas, {task_id} |
Pengatur Waktu Aliran Udara Apache
Metrik Apache Airflow di bagian ini berisi data tentang Apache Airflow Timers
| CloudWatch metrik | Metrik Aliran Udara Apache | Unit | Dimensi |
|---|---|---|---|
|
Kumpulkan DBDags |
collect_db_days |
Milidetik |
Fungsi, Pengolahan DAG |
|
CriticalSectionDuration |
scheduler.critical_section_duration |
Milidetik |
Fungsi, Penjadwal |
|
CriticalSectionQueryDuration catatanTersedia untuk Apache Airflow v2.5.1 dan yang lebih baru. |
Scheduler.critical_section_query_duration |
Milidetik |
Fungsi, Penjadwal |
|
DAGDependencyCheck |
dagrun.dependency-check. {dag_id} |
Milidetik |
HARI, {dag_id} |
|
DAGDurationFailed |
dagrun.duration.gagal. {dag_id} |
Milidetik |
HARI, {dag_id} |
|
DAGDurationSuccess |
dagrun.durasi.sukses. {dag_id} |
Milidetik |
HARI, {dag_id} |
|
DAGFileProcessingLastDuration |
dag_proses.durasi_terakhir. {dag_nama file} |
Detik |
Nama file DAG, {dag_filename} |
|
DAGScheduleDelay |
dagrun.schedule_delay. {dag_id} |
Milidetik |
HARI, {dag_id} |
|
FirstTaskSchedulingDelay |
dagrun. {dag_id} .penundaan penjadwalan tugas pertama |
Milidetik |
HARI, {dag_id} |
|
SchedulerLoopDuration catatanTersedia untuk Apache Airflow v2.5.1 dan yang lebih baru. |
penjadwal.scheduler_loop_durasi |
Milidetik |
Fungsi, Penjadwal |
|
TaskInstanceDuration |
hari. {dag_id}. {task_id} .durasi |
Milidetik |
HARI, {dag_id} Tugas, {task_id} |
|
TaskInstanceQueuedDuration |
hari. catatanTersedia untuk Apache Airflow v2.7.2 dan yang lebih baru. |
Milidetik |
HARI, {dag_id} Tugas, {task_id} |
|
TaskInstanceScheduledDuration catatanTersedia untuk Apache Airflow v2.7.2 dan yang lebih baru. |
hari. |
Milidetik |
HARI, {dag_id} Tugas, {task_id} |
Memilih metrik yang dilaporkan
Anda dapat memilih metrik Apache Airflow mana yang dipancarkan CloudWatch, atau diblokir oleh Apache Airflow, menggunakan opsi Menggunakan opsi konfigurasi Apache Airflow di Amazon MWAA konfigurasi Amazon MWAA berikut:
metrics.metrics_allow_list— Daftar awalan yang dipisahkan koma yang dapat Anda gunakan untuk memilih metrik mana yang dipancarkan CloudWatch oleh lingkungan Anda. Gunakan opsi ini jika Anda ingin Apache Airflow tidak mengirim semua metrik yang tersedia dan sebagai gantinya memilih subset elemen. Misalnya,scheduler,executor,dagrun.metrics.metrics_block_list— Daftar awalan yang dipisahkan koma untuk menyaring metrik yang dimulai dengan elemen daftar. Misalnya,scheduler,executor,dagrun.
Jika Anda mengkonfigurasi keduanya metrics.metrics_allow_list danmetrics.metrics_block_list, Apache Airflow mengabaikanmetrics.metrics_block_list. Jika Anda mengkonfigurasi metrics.metrics_block_list tetapi tidakmetrics.metrics_allow_list, Apache Airflow menyaring elemen yang Anda tentukanmetrics.metrics_block_list.
catatan
Opsi metrics.metrics_allow_list dan metrics.metrics_block_list konfigurasi hanya berlaku untuk Apache Airflow v2.6.3 dan yang lebih baru. Untuk versi sebelumnya dari Apache Airflow gunakan metrics.statsd_allow_list dan sebagai metrics.statsd_block_list gantinya.
Apa selanjutnya?
-
Jelajahi operasi Amazon MWAA API yang digunakan untuk mempublikasikan metrik kesehatan lingkungan di PublishMetrics.
