Memantau Pipa Menggunakan Metrik CloudWatch - Amazon CloudWatch
Metrik yang tersediaDimensiJenis kesalahanJenis peringatanMelihat metrik Membuat alarmPraktik terbaik untuk CloudWatch metrik saluran pipa

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memantau Pipa Menggunakan Metrik CloudWatch

CloudWatch pipelines menerbitkan metrik ke Amazon CloudWatch di namespace. AWS/Observability Admin Anda dapat menggunakan metrik ini untuk memantau kesehatan, kinerja, dan aliran data pipeline Anda.

Metrik yang tersedia

Tabel berikut mencantumkan metrik yang tersedia untuk CloudWatch saluran pipa.

catatan

Metrik saluran pipa hanya dipancarkan ketika nilainya bukan nol.

Metrik inti

Metrik Deskripsi Dimensi Unit

PipelineBytesIn

Volume catatan log masuk ke pipeline dalam byte yang tidak terkompresi

PipelineName

Byte

PipelineBytesInByDataSource

Volume data yang masuk dengan rincian source/type

PipelineName, DataSource, DataType

Byte

PipelineBytesOut

Volume data yang dirutekan ke tujuan

PipelineName

Byte

PipelineBytesOutByDataSource

Volume data keluar dengan rincian source/type

PipelineName, DataSource, DataType

Byte

PipelineRecordsIn

Jumlah catatan yang memasuki pipa

PipelineName

Hitungan

PipelineRecordsInByDataSource

Jumlah catatan yang masuk dengan rincian source/type

PipelineName, DataSource, DataType

Hitungan

PipelineRecordsOut

Jumlah catatan yang keluar dari pipa

PipelineName

Hitungan

PipelineRecordsOutByDataSource

Jumlah catatan keluar dengan rincian source/type

PipelineName, DataSource, DataType

Hitungan

Metrik kesalahan dan peringatan

Metrik Deskripsi Dimensi Unit

PipelineErrors

Jumlah agregat kesalahan dalam pipeline

PipelineName

Hitungan

PipelineErrorsByErrorType

Kesalahan terperinci dihitung berdasarkan jenis

PipelineName, ErrorSource, ErrorComponent, ErrorType

Hitungan

PipelineWarnings

Jumlah peringatan yang ditemui

PipelineName

Hitungan

PipelineWarningsByWarningType

Peringatan terperinci berdasarkan jenis

PipelineName, WarningSource, WarningComponent, WarningType

Hitungan

PipelineRecordsUnprocessed

Jumlah catatan yang tidak dapat diproses

PipelineName, DataSource, DataType

Hitungan

PipelineRecordsDropped

Jumlah catatan yang dijatuhkan (hanya sumber pihak ketiga)

PipelineName, DataSource, DataType

Hitungan

Dimensi

CloudWatch metrik pipelines menggunakan dimensi berikut:

PipelineName

Nama pipa

DataSource

Sumber data (nama AWS layanan atau sumber pihak ketiga)

DataType

Jenis data yang sedang diproses

ErrorSource

Asal kesalahan (s3, aws.secrets, cloudwatch_logs)

ErrorComponent

Komponen di mana kesalahan terjadi (sumber, wastafel, ekstensi)

ErrorType

Jenis kesalahan yang ditemui

Jenis kesalahan

Jenis kesalahan berikut dilacak diPipelineErrorsByErrorType:

ACCESS_DENIED

Kegagalan terkait izin

ALL

Jumlah total semua kesalahan pada pipa

RESOURCE_NOT_FOUND

Sumber daya yang ditentukan tidak ada

SOURCE_READ_FAILURE

Kegagalan membaca dari sumber

PARSE_FAILURE

Kesalahan penguraian data

PROCESSOR_ERRORS

Kegagalan operasi pemrosesan

PAYLOAD_SIZE_EXCEEDED

Batas ukuran data terlampaui

Jenis peringatan

Jenis peringatan berikut dapat terjadi pada pipa:

THROTTLED

Menunjukkan bahwa volume data yang dikirim telah melebihi batas tarif yang ada, menyebabkan beberapa titik data atau peristiwa dijatuhkan atau ditunda untuk melindungi sistem dan memastikan stabilitas.

Melihat metrik

Anda dapat melihat metrik CloudWatch pipeline menggunakan metode berikut:

Menggunakan CloudWatch konsol

  1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/

  2. Di panel navigasi, pilih Metrik

  3. Pilih namespace AWS Admin /Observability

  4. Pilih dimensi metrik untuk dilihat

Menggunakan AWS CLI

aws cloudwatch get-metric-statistics \
  --namespace "AWS/Observability Admin" \
  --metric-name "PipelineBytesIn" \
  --dimensions Name=PipelineName,Value=my-pipeline \
  --start-time "2025-10-29T00:00:00" \
  --end-time "2025-10-29T23:59:59" \
  --period 300 \
  --statistics Sum

Membuat alarm

Anda dapat membuat CloudWatch alarm berdasarkan salah satu metrik ini. Berikut adalah contoh membuat alarm untuk kesalahan pipeline:

aws cloudwatch put-metric-alarm \
  --alarm-name "HighPipelineErrors" \
  --alarm-description "Alert on high error rate" \
  --metric-name "PipelineErrors" \
  --namespace "AWS/Observability Admin" \
  --dimensions Name=PipelineName,Value=my-pipeline \
  --period 300 \
  --evaluation-periods 2 \
  --threshold 10 \
  --comparison-operator GreaterThanThreshold \
  --statistic Sum \
  --alarm-actions arn:aws:sns:region:account-id:topic-name

Praktik terbaik untuk CloudWatch metrik saluran pipa

Pantau aliran data

  • Gunakan PipelineBytesIn dan PipelineBytesOut untuk melacak volume data

  • Memantau PipelineRecordsIn dan PipelineRecordsOut melacak jumlah rekam

  • Perhatikan perubahan tak terduga dalam pola throughput

Lacak kesalahan dan peringatan

  • Buat alarm PipelineErrors untuk mendeteksi masalah dengan cepat

  • Gunakan PipelineErrorsByErrorType untuk mendiagnosis masalah tertentu

  • Memantau PipelineWarnings untuk mengidentifikasi potensi masalah lebih awal

Konfigurasikan ambang batas yang sesuai

  • Ambang batas dasar pada pola data yang Anda harapkan

  • Akun untuk variasi normal dalam volume data

  • Pertimbangkan periode penggunaan puncak saat mengatur ambang alarm