Mengakses log Aliran Udara di Amazon CloudWatch - Amazon Managed Workflows for Apache Airflow
HargaSebelum memulaiJenis logMengaktifkan log Apache AirflowMengakses log Apache AirflowContoh log penjadwalApa selanjutnya?

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengakses log Aliran Udara di Amazon CloudWatch

Amazon MWAA dapat mengirim log Apache Airflow ke Amazon. CloudWatch Anda dapat mengakses log untuk beberapa lingkungan dari satu lokasi untuk dengan mudah mengidentifikasi penundaan tugas Apache Airflow atau kesalahan alur kerja tanpa alat pihak ketiga tambahan. Log Apache Airflow harus diaktifkan di Amazon Managed Workflows untuk konsol Apache Airflow untuk mengakses pemrosesan Apache Airflow DAG, tugas, server web, log masuk pekerja. CloudWatch

Harga

  • Biaya CloudWatch Log Standar berlaku. Untuk informasi lebih lanjut, lihat CloudWatch harga.

Sebelum memulai

Jenis log

Amazon MWAA membuat grup log untuk setiap opsi pencatatan Aliran Udara yang Anda aktifkan, dan mendorong log ke grup Log yang CloudWatch terkait dengan lingkungan. Grup log diberi nama dalam format berikut:YourEnvironmentName-LogType. Misalnya, jika nama lingkungan AndaAirflow-v202-Public, log tugas Apache Airflow akan dikirim ke. Airflow-v202-Public-Task

Jenis log Deskripsi

YourEnvironmentName-DAGProcessing

Log manajer prosesor DAG (bagian dari penjadwal yang memproses file DAG).

YourEnvironmentName-Scheduler

Log yang dihasilkan oleh penjadwal Aliran Udara.

YourEnvironmentName-Task

Tugas mencatat hasil DAG.

YourEnvironmentName-WebServer

Log yang dihasilkan antarmuka web Airflow.

YourEnvironmentName-Worker

Log yang dihasilkan sebagai bagian dari alur kerja dan eksekusi DAG.

Mengaktifkan log Apache Airflow

Anda dapat mengaktifkan log Apache Airflow di INFOWARNING,,ERROR, atau level. CRITICAL Saat Anda memilih level log, Amazon MWAA mengirimkan log untuk level tersebut dan semua tingkat keparahan yang lebih tinggi. Misalnya, jika Anda mengaktifkan log di INFO level tersebut, Amazon MWAA mengirimkan INFO log danWARNING,ERROR, dan tingkat CRITICAL log ke CloudWatch Log.

  1. Buka halaman Lingkungan di konsol Amazon MWAA.

  2. Pilih lingkungan.

  3. Pilih Edit.

  4. Pilih Berikutnya.

  5. Pilih satu atau beberapa opsi pencatatan berikut:

    1. Pilih grup log penjadwal aliran udara di panel Pemantauan.

    2. Pilih grup log server web Aliran udara di panel Pemantauan.

    3. Pilih grup log pekerja Aliran udara di panel Pemantauan.

    4. Pilih grup log pemrosesan Aliran Udara DAG di panel Pemantauan.

    5. Pilih grup log tugas Aliran udara di panel Pemantauan.

    6. Pilih level logging di level Log.

  6. Pilih Berikutnya.

  7. Pilih Simpan.

Mengakses log Apache Airflow

Bagian berikut menjelaskan cara mengakses log Apache Airflow di konsol. CloudWatch

  1. Buka halaman Lingkungan di konsol Amazon MWAA.

  2. Pilih lingkungan.

  3. Pilih grup log di panel Monitoring.

  4. Pilih log masuk Aliran log.

Contoh log penjadwal

Anda dapat mengakses log Apache Airflow untuk penjadwal yang menjadwalkan alur kerja Anda dan mengurai folder Anda. dags Langkah-langkah berikut menjelaskan cara membuka grup log untuk penjadwal di konsol Amazon MWAA, dan mengakses log Apache Airflow di konsol Log. CloudWatch

Untuk mengakses log untuk requirements.txt

  1. Buka halaman Lingkungan di konsol Amazon MWAA.

  2. Pilih lingkungan.

  3. Pilih grup log penjadwal aliran udara di panel Pemantauan.

  4. Pilih requirements_install_ip log masuk Aliran log.

  5. Lihat daftar paket yang diinstal pada lingkungan di/usr/local/airflow/.local/bin. Misalnya:

    Collecting appdirs==1.4.4 (from -r /usr/local/airflow/.local/bin (line 1))
Downloading https://files.pythonhosted.org/packages/3b/00/2344469e2084fb28kjdsfiuyweb47389789vxbmnbjhsdgf5463acd6cf5e3db69324/appdirs-1.4.4-py2.py3-none-any.whl  
Collecting astroid==2.4.2 (from -r /usr/local/airflow/.local/bin (line 2))

  6. Tinjau daftar paket dan apakah salah satu dari ini mengalami kesalahan selama instalasi. Jika terjadi kesalahan, Anda mungkin mendapatkan kesalahan yang mirip dengan berikut ini:

    2021-03-05T14:34:42.731-07:00
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))
No matching distribution found for LibraryName==1.0.0 (from -r /usr/local/airflow/.local/bin (line 4))

Apa selanjutnya?