Memantau dasbor dan alarm di Amazon MWAA - Amazon Managed Workflows for Apache Airflow (MWAA)
MetrikIkhtisar status alarmContoh dasbor dan alarm khususMenghapus metrik dan dasborApa selanjutnya?

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memantau dasbor dan alarm di Amazon MWAA

Anda dapat membuat dasbor khusus di Amazon CloudWatch dan menambahkan alarm untuk metrik tertentu guna memantau status kesehatan Alur Kerja Terkelola Amazon untuk lingkungan Apache Airflow. Saat alarm ada di dasbor, alarm berubah menjadi merah saat berada di ALARM negara bagian, sehingga memudahkan Anda untuk memantau kesehatan lingkungan Amazon MWAA secara proaktif.

Apache Airflow mengekspos metrik untuk sejumlah proses, termasuk jumlah proses DAG, ukuran tas DAG, tugas yang sedang berjalan, kegagalan tugas, dan keberhasilan. Saat Anda membuat lingkungan, Airflow dikonfigurasi untuk mengirim metrik secara otomatis untuk lingkungan Amazon MWAA. CloudWatch Halaman ini menjelaskan cara membuat dasbor status kesehatan untuk metrik Aliran Udara CloudWatch untuk lingkungan Amazon MWAA.

Metrik

Anda dapat membuat dasbor dan alarm khusus untuk metrik apa pun yang tersedia untuk versi Apache Airflow Anda. Setiap metrik sesuai dengan indikator kinerja kunci Apache Airflow (KPI). Untuk melihat daftar metrik, lihat:

Ikhtisar status alarm

Sebuah alarm metrik mungkin saja berada dalam status berikut ini:

  • OK – Metrik atau ekspresi berada dalam ambang batas yang telah ditetapkan sebelumnya.

  • ALARM – Metrik atau ekspresi berada di luar ambang batas yang telah ditetapkan sebelumnya.

  • INSUFFICIENT_DATA – Alarm baru saja dimulai, metrik tidak tersedia, atau tidak ada data yang memadai yang tersedia bagi metrik untuk menentukan status alarm.

Contoh dasbor dan alarm khusus

Anda dapat membuat dasbor pemantauan khusus yang menampilkan bagan metrik yang dipilih untuk lingkungan Amazon MWAA Anda.

Tentang metrik ini

Daftar berikut menjelaskan masing-masing metrik yang dibuat di dasbor kustom oleh tutorial dan definisi template di bagian ini.

  • QueuedTasks- Jumlah tugas dengan status antrian. Sesuai dengan metrik executor.queued_tasks Apache Airflow.

  • TasksPending- Jumlah tugas yang tertunda di pelaksana. Sesuai dengan metrik scheduler.tasks.pending Apache Airflow.

    catatan

    Tidak berlaku untuk Apache Airflow v2.2 dan di atasnya.

  • RunningTasks- Jumlah tugas yang berjalan di pelaksana. Sesuai dengan metrik executor.running_tasks Apache Airflow.

  • SchedulerHeartbeat- Jumlah check-in Apache Airflow melakukan pada pekerjaan scheduler. Sesuai dengan metrik scheduler_heartbeat Apache Airflow.

  • TotalParseTime- Jumlah detik yang diambil untuk memindai dan mengimpor semua file DAG sekali. Sesuai dengan metrik dag_processing.total_parse_time Apache Airflow.

Tentang dasbor

Gambar berikut menunjukkan dasbor pemantauan yang dibuat oleh definisi tutorial dan template di bagian ini.

Gambar ini menunjukkan di mana menemukan opsi Jaringan pribadi di konsol Amazon MWAA.

Menggunakan AWS tutorial

Anda dapat menggunakan AWS tutorial berikut untuk secara otomatis membuat dasbor status kesehatan untuk lingkungan Amazon MWAA yang saat ini digunakan. Ini juga menciptakan CloudWatch alarm untuk pekerja yang tidak sehat dan kegagalan detak jantung penjadwal di semua lingkungan Amazon MWAA.

Menggunakan AWS CloudFormation

Anda dapat menggunakan definisi AWS CloudFormation templat di bagian ini untuk membuat dasbor pemantauan CloudWatch, lalu menambahkan alarm di CloudWatch konsol untuk menerima notifikasi saat metrik melampaui ambang batas tertentu. Untuk membuat tumpukan menggunakan definisi template ini, lihat Membuat tumpukan di AWS CloudFormation konsol. Untuk menambahkan alarm ke dasbor, lihat Menggunakan alarm.

AWSTemplateFormatVersion: "2010-09-09"
Description: Creates MWAA Cloudwatch Dashboard
Parameters:
  DashboardName:
    Description: Enter the name of the CloudWatch Dashboard
    Type: String
  EnvironmentName:
    Description: Enter the name of the MWAA Environment
    Type: String    
Resources:
  BasicDashboard:
    Type: AWS::CloudWatch::Dashboard
    Properties:
      DashboardName: !Ref DashboardName
      DashboardBody:
        Fn::Sub: '{
              "widgets": [
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "QueuedTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "QueuedTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "RunningTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "RunningTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "SchedulerHeartbeat",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "SchedulerHeartbeat ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TasksPending",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "TasksPending ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 12,
                      "width": 24,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "region": "${AWS::Region}",
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TotalParseTime",
                                  "Function",
                                  "DAG Processing",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "title": "TotalParseTime  ${EnvironmentName}",
                          "period": 300
                      }
                  }
              ]
          }'

Menghapus metrik dan dasbor

Jika Anda menghapus lingkungan Amazon MWAA, dasbor yang sesuai juga dihapus. CloudWatch metrik disimpan selama lima belas (15) bulan dan tidak dapat dihapus. CloudWatch Konsol membatasi pencarian metrik hingga dua (2) minggu setelah metrik terakhir dicerna untuk memastikan bahwa instance terbaru ditampilkan untuk lingkungan Amazon MWAA Anda. Untuk mempelajari lebih lanjut, lihat Amazon CloudWatch FAQs.

Apa selanjutnya?