Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
# Metrik dan dimensi dalam Layanan Terkelola untuk Apache Flink
Saat Layanan Terkelola untuk Apache Flink memproses sumber data, Managed Service for Apache Flink melaporkan metrik dan dimensi berikut ke Amazon. CloudWatch
**Perubahan metrik Flink 2.2**
Flink 2.2 memperkenalkan perubahan metrik yang dapat memengaruhi pemantauan dan alarm Anda. Tinjau perubahan berikut sebelum memutakhirkan:
`fullRestarts`Metrik telah dihapus. Gunakan `numRestarts` sebagai gantinya.
`downtime`Metrik `uptime` dan tidak digunakan lagi dan akan dihapus di rilis mendatang. Migrasi ke metrik khusus negara bagian yang baru.
`bytesRequestedPerFetch`Metrik untuk konektor Kinesis Data Streams 6.0.0 telah dihapus.
## Metrik aplikasi
| Metrik | Unit | Deskripsi | Tingkat | Catatan Penggunaan |
| --- | --- | --- | --- | --- |
| backPressuredTimeMsPerSecond\$1 | Milidetik | Waktu (dalam milidetik) tugas atau operator ini kembali ditekan per detik. | Tugas, Operator, Paralelisme | \$1Tersedia untuk Managed Service untuk aplikasi Apache Flink yang menjalankan Flink versi 1.13 saja. Metrik ini dapat berguna dalam mengidentifikasi kemacetan dalam suatu aplikasi. |
| busyTimeMsPerSecond\$1 | Milidetik | Waktu (dalam milidetik) tugas atau operator ini sibuk (tidak menganggur atau kembali ditekan) per detik. Bisa NaN, jika nilainya tidak bisa dihitung. | Tugas, Operator, Paralelisme | \$1Tersedia untuk Managed Service untuk aplikasi Apache Flink yang menjalankan Flink versi 1.13 saja. Metrik ini dapat berguna dalam mengidentifikasi kemacetan dalam suatu aplikasi. |
| cpuUtilization | Persentase | Keseluruhan persentase penggunaan CPU di seluruh manajer tugas. Misalnya, jika ada lima pengelola tugas, Managed Service for Apache Flink menerbitkan lima sampel metrik ini per interval pelaporan. | Aplikasi | Anda dapat menggunakan metrik ini untuk memantau penggunaan CPU minimum, rata-rata, dan maksimum dalam aplikasi Anda. CPUUtilizationMetrik hanya memperhitungkan penggunaan CPU dari proses TaskManager JVM yang berjalan di dalam wadah. |
| containerCPUUtilization | Persentase | Persentase keseluruhan pemanfaatan CPU di seluruh wadah task manager di cluster aplikasi Flink. Misalnya, jika ada lima pengelola tugas, maka ada lima TaskManager kontainer dan Layanan Terkelola untuk Apache Flink menerbitkan 2 \$1 lima sampel metrik ini per interval pelaporan 1 menit. | Aplikasi | Itu dihitung per kontainer sebagai: *Total waktu CPU (dalam detik) yang dikonsumsi oleh kontainer\$1 100/ Batas CPU kontainer ( CPUsdalam/detik)* `CPUUtilization`Metrik hanya memperhitungkan penggunaan CPU dari proses TaskManager JVM yang berjalan di dalam wadah. Ada komponen lain yang berjalan di luar JVM dalam wadah yang sama. `containerCPUUtilization`Metrik memberi Anda gambaran yang lebih lengkap, termasuk semua proses dalam hal kelelahan CPU di wadah dan kegagalan yang dihasilkan dari itu. |
| containerMemoryUtilization | Persentase | Persentase keseluruhan pemanfaatan memori di seluruh wadah pengelola tugas di cluster aplikasi Flink. Misalnya, jika ada lima pengelola tugas, maka ada lima TaskManager kontainer dan Layanan Terkelola untuk Apache Flink menerbitkan 2 \$1 lima sampel metrik ini per interval pelaporan 1 menit. | Aplikasi | Itu dihitung per kontainer sebagai: *Penggunaan memori kontainer (byte) \$1 100/ Batas memori kontainer sesuai spesifikasi penerapan pod (dalam byte)* [Metrik `HeapMemoryUtilization` dan hanya memperhitungkan `ManagedMemoryUtilzations` metrik memori tertentu seperti Heap Memory Usage of TaskManager JVM atau Managed Memory (penggunaan memori di luar JVM untuk proses asli seperti RocksDB State Backend).](https://flink.apache.org/2021/01/18/rocksdb.html#:~:text=Conclusion-,The%20RocksDB%20state%20backend%20(i.e.%2C%20RocksDBStateBackend)%20is%20one%20of,with%20exactly%2Donce%20processing%20guarantees.) `containerMemoryUtilization`Metrik memberi Anda gambaran yang lebih lengkap dengan memasukkan memori set kerja, yang merupakan pelacak yang lebih baik dari kelelahan memori total. Setelah kelelahan, itu akan menghasilkan pod`Out of Memory Error`. TaskManager |
| containerDiskUtilization | Persentase | Persentase keseluruhan pemanfaatan disk di seluruh wadah pengelola tugas di cluster aplikasi Flink. Misalnya, jika ada lima pengelola tugas, maka ada lima TaskManager kontainer dan Layanan Terkelola untuk Apache Flink menerbitkan 2 \$1 lima sampel metrik ini per interval pelaporan 1 menit. | Aplikasi | Itu dihitung per kontainer sebagai: *Penggunaan disk dalam byte\$1 100/Batas Disk untuk wadah dalam byte* Untuk kontainer, ini mewakili pemanfaatan sistem file tempat volume root wadah diatur. |
| currentInputWatermark | Milidetik | Tanda air terakhir yang application/operator/task/thread diterima | Aplikasi, Operator, Tugas, Paralelisme | Catatan ini hanya dipancarkan untuk dimensi dengan dua input. Ini adalah nilai minimum dari watermark yang terakhir diterima. |
| currentOutputWatermark | Milidetik | Tanda air terakhir yang application/operator/task/thread dipancarkan | Aplikasi, Operator, Tugas, Paralelisme | |
| downtime[USANG] | Milidetik | Untuk pekerjaan yang saat ini dalam suatu failing/recovering situasi, waktu berlalu selama pemadaman ini. | Aplikasi | Metrik ini mengukur waktu berlalu saat tugas gagal atau memulihkan. Metrik ini menampilkan 0 untuk tugas yang berjalan dan -1 untuk tugas yang selesai. Jika metrik ini bukan 0 atau -1, ini menunjukkan tugas Apache Flink untuk aplikasi gagal dijalankan. **Usang di Flink 2.2.** Gunakan`restartingTime`,`cancellingTime`, and/or `failingTime` sebagai gantinya. |
| failingTime | Milidetik | Waktu (dalam milidetik) yang dihabiskan aplikasi dalam keadaan gagal. Gunakan metrik ini untuk memantau kegagalan aplikasi dan memicu peringatan. | Aplikasi, Aliran | Tersedia dari Flink 2.2. Menggantikan bagian dari metrik usangdowntime. |
| heapMemoryUtilization | Persentase | Keseluruhan pemanfaatan memori tumpukan di seluruh manajer tugas. Misalnya, jika ada lima pengelola tugas, Managed Service for Apache Flink menerbitkan lima sampel metrik ini per interval pelaporan. | Aplikasi | Anda dapat menggunakan metrik ini untuk memantau penggunaan memori tumpukan minimum, rata-rata, dan maksimum dalam aplikasi Anda. HeapMemoryUtilizationSatu-satunya akun untuk metrik memori tertentu seperti Heap Memory Usage of TaskManager JVM. |
| idleTimeMsPerSecond\$1 | Milidetik | Waktu (dalam milidetik) tugas atau operator ini menganggur (tidak memiliki data untuk diproses) per detik. Waktu idle tidak termasuk waktu bertekanan kembali, jadi jika tugas kembali ditekan, itu tidak menganggur. | Tugas, Operator, Paralelisme | \$1Tersedia untuk Managed Service untuk aplikasi Apache Flink yang menjalankan Flink versi 1.13 saja. Metrik ini dapat berguna dalam mengidentifikasi kemacetan dalam suatu aplikasi. |
| lastCheckpointSize | Byte | Total ukuran titik pemeriksaan terakhir | Aplikasi | Anda dapat menggunakan metrik ini untuk menentukan penggunaan penyimpanan aplikasi yang berjalan. Jika nilai metrik ini meningkat, ini mungkin menunjukkan adanya masalah pada aplikasi Anda, seperti kebocoran memori atau hambatan. |
| lastCheckpointDuration | Milidetik | Waktu yang diperlukan untuk menyelesaikan titik pemeriksaan terakhir | Aplikasi | Metrik ini mengukur waktu yang diperlukan untuk menyelesaikan titik pemeriksaan terbaru. Jika nilai metrik ini meningkat, ini mungkin menunjukkan adanya masalah pada aplikasi Anda, seperti kebocoran memori atau hambatan. Dalam beberapa kasus, Anda dapat memecahkan masalah ini dengan menonaktifkan checkpointing. |
| managedMemoryUsed\$1 | Byte | Jumlah memori terkelola yang saat ini digunakan. | Aplikasi, Operator, Tugas, Paralelisme | \$1Tersedia untuk Managed Service untuk aplikasi Apache Flink yang menjalankan Flink versi 1.13 saja. Ini berkaitan dengan memori yang dikelola oleh Flink di luar tumpukan Java. Ini digunakan untuk backend status RocksDB, dan juga tersedia untuk aplikasi. |
| managedMemoryTotal\$1 | Byte | Jumlah total memori yang dikelola. | Aplikasi, Operator, Tugas, Paralelisme | \$1Tersedia untuk Managed Service untuk aplikasi Apache Flink yang menjalankan Flink versi 1.13 saja. Ini berkaitan dengan memori yang dikelola oleh Flink di luar tumpukan Java. Ini digunakan untuk backend status RocksDB, dan juga tersedia untuk aplikasi. `ManagedMemoryUtilzations`Metrik hanya memperhitungkan metrik memori tertentu seperti Memori Terkelola (penggunaan memori di luar JVM untuk proses asli seperti [RocksDB](https://flink.apache.org/2021/01/18/rocksdb.html#:~:text=Conclusion-,The%20RocksDB%20state%20backend%20(i.e.%2C%20RocksDBStateBackend)%20is%20one%20of,with%20exactly%2Donce%20processing%20guarantees.) State Backend) |
| managedMemoryUtilization\$1 | Persentase | Diturunkan oleh managedMemoryUsed/managedMemoryTotal | Aplikasi, Operator, Tugas, Paralelisme | \$1Tersedia untuk Managed Service untuk aplikasi Apache Flink yang menjalankan Flink versi 1.13 saja. Ini berkaitan dengan memori yang dikelola oleh Flink di luar tumpukan Java. Ini digunakan untuk backend status RocksDB, dan juga tersedia untuk aplikasi. |
| numberOfFailedCheckpoints | Hitungan | Jumlah kegagalan checkpointing. | Aplikasi | Anda dapat menggunakan metrik ini untuk memantau kesehatan dan kemajuan aplikasi. Titik pemeriksaan mungkin gagal karena masalah aplikasi, seperti throughput atau masalah izin. |
| numRecordsIn\$1 | Hitungan | Jumlah total catatan yang diterima aplikasi, operator, atau tugas. | Aplikasi, Operator, Tugas, Paralelisme | \$1Untuk menerapkan statistik SUM selama periode waktu (detik/menit): [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/managed-flink/latest/java/metrics-dimensions.html) Tingkat metrik menentukan apakah metrik ini mengukur jumlah total catatan yang diterima seluruh aplikasi, operator tertentu, atau tugas tertentu. |
| numRecordsInPerSecond\$1 | Hitungan/Detik | Jumlah total catatan yang diterima aplikasi, operator, atau tugas per detik. | Aplikasi, Operator, Tugas, Paralelisme | \$1Untuk menerapkan statistik SUM selama periode waktu (detik/menit): [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/managed-flink/latest/java/metrics-dimensions.html) Tingkat metrik menentukan apakah metrik ini mengukur jumlah total catatan yang diterima seluruh aplikasi, operator tertentu, atau tugas tertentu per detik. |
| numRecordsOut\$1 | Hitungan | Jumlah total catatan yang dipancarkan aplikasi, operator, atau tugas. | Aplikasi, Operator, Tugas, Paralelisme | \$1Untuk menerapkan statistik SUM selama periode waktu (detik/menit): [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/managed-flink/latest/java/metrics-dimensions.html) Tingkat metrik menentukan apakah metrik ini mengukur jumlah total catatan yang dipancarkan seluruh aplikasi, operator tertentu, atau tugas tertentu. |
| numLateRecordsDropped\$1 | Hitungan | Aplikasi, Operator, Tugas, Paralelisme | | \$1Untuk menerapkan statistik SUM selama periode waktu (detik/menit): [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/managed-flink/latest/java/metrics-dimensions.html) Jumlah catatan yang dibuang operator atau tugas karena datang terlambat. |
| numRecordsOutPerSecond\$1 | Hitungan/Detik | Jumlah total catatan yang dipancarkan aplikasi, operator, atau tugas per detik. | Aplikasi, Operator, Tugas, Paralelisme | \$1Untuk menerapkan statistik SUM selama periode waktu (detik/menit): [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/managed-flink/latest/java/metrics-dimensions.html) Tingkat metrik menentukan apakah metrik ini mengukur jumlah total catatan yang dipancarkan seluruh aplikasi, operator tertentu, atau tugas tertentu per detik. |
| oldGenerationGCCount | Hitungan | Jumlah total operasi pengumpulan sampah lama yang terjadi di semua manajer tugas. | Aplikasi | |
| oldGenerationGCTime | Milidetik | Total waktu yang digunakan untuk melakukan operasi pengumpulan sampah lama. | Aplikasi | Anda dapat menggunakan metrik ini untuk memantau jumlah, rata-rata, dan waktu pengumpulan sampah maksimum. |
| threadsCount | Hitungan | Jumlah total utas langsung yang digunakan aplikasi. | Aplikasi | Metrik ini mengukur jumlah utas yang digunakan kode aplikasi. Ini tidak sama dengan paralelisme aplikasi. |
| cancellingTime | Milidetik | Waktu (dalam milidetik) yang telah dihabiskan aplikasi dalam keadaan pembatalan. Gunakan metrik ini untuk memantau operasi pembatalan aplikasi. | Aplikasi, Aliran | Tersedia dari Flink 2.2. Menggantikan bagian dari metrik usangdowntime. |
| restartingTime | Milidetik | Waktu (dalam milidetik) yang telah dihabiskan aplikasi dalam keadaan restart. Gunakan metrik ini untuk memantau perilaku restart aplikasi. | Aplikasi, Aliran | Tersedia dari Flink 2.2. Menggantikan bagian dari metrik usangdowntime. |
| runningTime | Milidetik | Waktu (dalam milidetik) aplikasi telah berjalan tanpa gangguan. Menggantikan metrik usanguptime. | Aplikasi, Aliran | Tersedia dari Flink 2.2. Gunakan sebagai pengganti langsung untuk metrik usanguptime. |
| uptime[USANG] | Milidetik | Waktu ketika tugas berjalan tanpa gangguan. | Aplikasi | Anda dapat menggunakan metrik ini untuk menentukan apakah tugas berhasil berjalan. Metrik ini menampilkan -1 untuk tugas yang selesai. **Usang di Flink 2.2.** Gunakan `runningTime` sebagai gantinya. |
| jobmanagerFileDescriptorsMax | Hitungan | Jumlah maksimum deskriptor file yang tersedia untuk file. JobManager | Aplikasi, Aliran, Tuan Rumah | Gunakan metrik ini untuk memantau kapasitas deskriptor file. |
| jobmanagerFileDescriptorsOpen | Hitungan | Jumlah deskriptor file terbuka saat ini untuk file. JobManager | Aplikasi, Aliran, Tuan Rumah | Gunakan metrik ini untuk memantau penggunaan deskriptor file dan mendeteksi potensi kehabisan sumber daya. |
| taskmanagerFileDescriptorsMax | Hitungan | Jumlah maksimum deskriptor file yang tersedia untuk masing-masing TaskManager. | Aplikasi, Aliran, Host, tm\$1id | Gunakan metrik ini untuk memantau kapasitas deskriptor file. |
| taskmanagerFileDescriptorsOpen | Hitungan | Jumlah deskriptor file terbuka saat ini untuk masing-masing TaskManager. | Aplikasi, Aliran, Host, tm\$1id | Gunakan metrik ini untuk memantau penggunaan deskriptor file dan mendeteksi potensi kehabisan sumber daya. |
| KPUs\$1 | Hitungan | Jumlah total yang KPUs digunakan oleh aplikasi. | Aplikasi | \$1Metrik ini menerima satu sampel per periode penagihan (satu jam). Untuk memvisualisasikan jumlah dari KPUs waktu ke waktu, gunakan MAX atau AVG selama setidaknya satu (1) jam. Jumlah KPU termasuk `orchestration` KPU. Untuk informasi selengkapnya, lihat [Layanan Terkelola untuk Harga Apache Flink](https://aws.amazon.com/managed-service-apache-flink/pricing/). |
**Panduan migrasi metrik Flink 2.2**
**Migrasi dari FullRestarts:** `fullRestarts` Metrik telah dihapus di Flink 2.2. Gunakan `numRestarts` metrik sebagai gantinya. `numRestarts`Metrik menyediakan fungsionalitas yang setara dan dapat digunakan sebagai pengganti langsung dalam CloudWatch alarm tanpa memerlukan penyesuaian ambang batas.
**Migrasi dari waktu aktif:** `uptime` Metrik tidak digunakan lagi di Flink 2.2 dan akan dihapus di rilis mendatang. Gunakan `runningTime` metrik sebagai gantinya. `runningTime`Metrik menyediakan fungsionalitas yang setara dan dapat digunakan sebagai pengganti langsung dalam CloudWatch alarm tanpa memerlukan penyesuaian ambang batas.
**Migrasi dari waktu henti:** `downtime` Metrik tidak digunakan lagi di Flink 2.2 dan akan dihapus di rilis mendatang. Bergantung pada apa yang ingin Anda pantau, gunakan satu atau beberapa metrik berikut:
`restartingTime`: Pantau waktu yang dihabiskan untuk memulai ulang aplikasi
`cancellingTime`: Memantau waktu yang dihabiskan untuk membatalkan aplikasi
`failingTime`: Pantau waktu yang dihabiskan dalam keadaan gagal
## Metrik konektor Kinesis Data Streams
AWS memancarkan semua catatan untuk Kinesis Data Streams selain yang berikut:
| Metrik | Unit | Deskripsi | Tingkat | Catatan Penggunaan |
| --- | --- | --- | --- | --- |
| millisbehindLatest | Milidetik | Jumlah milidetik konsumen berada di belakang bagian depan aliran, menunjukkan seberapa jauh di belakang waktu konsumen saat ini. | Aplikasi (untuk Stream), Paralelisme (untuk) ShardId | [\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/managed-flink/latest/java/metrics-dimensions.html) |
**catatan**
`bytesRequestedPerFetch`Metrik telah dihapus di AWS konektor Flink versi 6.0.0 (satu-satunya versi konektor yang kompatibel dengan Flink 2.2). Satu-satunya metrik konektor Kinesis Data Streams yang tersedia di Flink 2.2 adalah. `millisBehindLatest`
## Metrik konektor MSK Amazon
AWS memancarkan semua catatan untuk Amazon MSK selain yang berikut:
| Metrik | Unit | Deskripsi | Tingkat | Catatan Penggunaan |
| --- | --- | --- | --- | --- |
| currentoffsets | N/A | Offset baca konsumen saat ini, untuk setiap partisi. Metrik partisi tertentu dapat ditentukan berdasarkan nama topik dan id partisi. | Aplikasi (untuk Topik), Paralelisme (untuk) PartitionId | |
| commitsFailed | N/A | Jumlah total kegagalan commit offset ke Kafka, jika commit offset dan checkpointing diaktifkan. | Aplikasi, Operator, Tugas, Paralelisme | Melakukan commit offset kembali ke Kafka hanyalah sarana untuk mengungkapkan kemajuan konsumen, jadi kegagalan commit tidak memengaruhi integritas offset partisi titik pemeriksaan Flink. |
| commitsSucceeded | N/A | Jumlah total keberhasilan commit offset ke Kafka, jika commit offset dan checkpointing diaktifkan. | Aplikasi, Operator, Tugas, Paralelisme | |
| committedoffsets | N/A | Offset komit yang berhasil terakhir ke Kafka, untuk setiap partisi. Metrik partisi tertentu dapat ditentukan berdasarkan nama topik dan id partisi. | Aplikasi (untuk Topik), Paralelisme (untuk) PartitionId | |
| records\$1lag\$1max | Hitungan | Keterlambatan maksimum dalam hal jumlah catatan untuk setiap partisi di jendela ini | Aplikasi, Operator, Tugas, Paralelisme | |
| bytes\$1consumed\$1rate | Byte | Jumlah rata-rata byte yang digunakan per detik untuk topik | Aplikasi, Operator, Tugas, Paralelisme | |
## Metrik Apache Zeppelin
Untuk notebook Studio, AWS memancarkan metrik berikut di tingkat aplikasi:`KPUs`,,,, `cpuUtilization` `heapMemoryUtilization``oldGenerationGCTime`, `oldGenerationGCCount` dan. `threadCount` Selain itu, ini memancarkan metrik yang ditunjukkan dalam tabel berikut, juga pada tingkat aplikasi.
****
| Metrik | Unit | Deskripsi | Nama Prometheus |
| --- | --- | --- | --- |
| zeppelinCpuUtilization | Persentase | Persentase keseluruhan pemanfaatan CPU di server Apache Zeppelin. | process\$1cpu\$1usage |
| zeppelinHeapMemoryUtilization | Persentase | Persentase keseluruhan pemanfaatan memori tumpukan untuk server Apache Zeppelin. | jvm\$1memory\$1used\$1bytes |
| zeppelinThreadCount | Hitungan | Jumlah total utas langsung yang digunakan oleh server Apache Zeppelin. | jvm\$1threads\$1live\$1threads |
| zeppelinWaitingJobs | Hitungan | Jumlah antrian tugas Apache Zeppelin yang menunggu utas. | jetty\$1threads\$1jobs |
| zeppelinServerUptime | Detik | Total waktu server aktif dan berjalan. | process\$1uptime\$1seconds |
# Lihat CloudWatch metrik
Anda dapat melihat CloudWatch metrik untuk aplikasi Anda menggunakan CloudWatch konsol Amazon atau. AWS CLI
**Untuk melihat metrik menggunakan konsol CloudWatch**
1. Buka CloudWatch konsol di [https://console.aws.amazon.com/cloudwatch/](https://console.aws.amazon.com/cloudwatch/).
1. Di panel navigasi, pilih **Metrik**.
1. Di panel **CloudWatch Metrik menurut Kategori** untuk Layanan Terkelola untuk Apache Flink, pilih kategori metrik.
1. Di panel atas, gulir untuk melihat daftar lengkap metrik.
**Untuk melihat metrik menggunakan AWS CLI**
+ Pada prompt perintah, gunakan perintah berikut.
```
1. aws cloudwatch list-metrics --namespace "AWS/KinesisAnalytics" --region region
```
# Tetapkan CloudWatch tingkat pelaporan metrik
Anda dapat mengontrol tingkat metrik aplikasi yang dibuat aplikasi Anda. Layanan Terkelola untuk Apache Flink mendukung tingkat metrik berikut:
+ **Application** (Aplikasi): Aplikasi hanya melaporkan tingkat metrik tertinggi untuk setiap aplikasi. Layanan Terkelola untuk metrik Apache Flink dipublikasikan di tingkat Aplikasi secara default.
+ **Task** (Tugas): Aplikasi ini melaporkan dimensi metrik khusus tugas untuk metrik yang ditentukan dengan tingkat pelaporan metrik Tugas, seperti jumlah catatan masuk dan keluar dari aplikasi per detik.
+ **Operator:** Aplikasi ini melaporkan dimensi metrik khusus operator untuk metrik yang ditentukan dengan tingkat pelaporan metrik Operator, seperti metrik untuk setiap operasi filter atau peta.
+ **Paralelism** (Paralelisme) Aplikasi melaporkan metrik tingkat `Task` dan `Operator` untuk setiap utas eksekusi. Tingkat pelaporan ini tidak disarankan untuk aplikasi dengan pengaturan Paralelisme di atas 64 karena biaya yang berlebihan.
**catatan**
Anda hanya harus menggunakan tingkat metrik ini untuk pemecahan masalah karena jumlah data metrik yang dihasilkan layanan. Anda hanya dapat mengatur tingkat metrik ini menggunakan CLI. Tingkat metrik ini tidak tersedia di konsol.
Tingkat default adalah **Application** (Aplikasi). Aplikasi melaporkan metrik pada tingkat saat ini dan semua tingkat yang lebih tinggi. Misalnya, jika tingkat pelaporan diatur ke **Operator**, aplikasi melaporkan metrik **Application** (Aplikasi), **Task** (Tugas), dan **Operator** (Operator).
Anda menetapkan tingkat pelaporan CloudWatch metrik menggunakan `MonitoringConfiguration` parameter [https://docs.aws.amazon.com/managed-service-for-apache-flink/latest/apiv2/API_CreateApplication.html](https://docs.aws.amazon.com/managed-service-for-apache-flink/latest/apiv2/API_CreateApplication.html)tindakan, atau `MonitoringConfigurationUpdate` parameter [https://docs.aws.amazon.com/managed-service-for-apache-flink/latest/apiv2/API_UpdateApplication.html](https://docs.aws.amazon.com/managed-service-for-apache-flink/latest/apiv2/API_UpdateApplication.html)tindakan. Contoh permintaan [https://docs.aws.amazon.com/managed-service-for-apache-flink/latest/apiv2/API_UpdateApplication.html](https://docs.aws.amazon.com/managed-service-for-apache-flink/latest/apiv2/API_UpdateApplication.html)tindakan berikut ini menetapkan tingkat pelaporan CloudWatch metrik ke **Tugas**:
```
{
"ApplicationName": "MyApplication",
"CurrentApplicationVersionId": 4,
"ApplicationConfigurationUpdate": {
"FlinkApplicationConfigurationUpdate": {
"MonitoringConfigurationUpdate": {
"ConfigurationTypeUpdate": "CUSTOM",
"MetricsLevelUpdate": "TASK"
}
}
}
}
```
Anda juga dapat mengonfigurasi tingkat pencatatan menggunakan parameter `LogLevel` dari tindakan [https://docs.aws.amazon.com/managed-service-for-apache-flink/latest/apiv2/API_CreateApplication.html](https://docs.aws.amazon.com/managed-service-for-apache-flink/latest/apiv2/API_CreateApplication.html) atau parameter `LogLevelUpdate` dari tindakan [https://docs.aws.amazon.com/managed-service-for-apache-flink/latest/apiv2/API_UpdateApplication.html](https://docs.aws.amazon.com/managed-service-for-apache-flink/latest/apiv2/API_UpdateApplication.html). Anda dapat menggunakan tingkat log berikut:
+ `ERROR`: Mencatat peristiwa kesalahan yang berpotensi dapat dipulihkan
+ `WARN`: Mencatat peristiwa peringatan yang mungkin menyebabkan kesalahan.
+ `INFO`: Mencatat peristiwa informasi.
+ `DEBUG`: Mencatat peristiwa debugging umum.
Untuk informasi selengkapnya tentang tingkat pencatatan Log4j, lihat [Tingkat Log Kustom](https://logging.apache.org/log4j/2.x/manual/customloglevels.html) di dokumentasi [Apache Log4j](https://logging.apache.org/log4j/2.x/).
# Menggunakan metrik kustom dengan Amazon Managed Service untuk Apache Flink
Layanan Terkelola untuk Apache Flink memaparkan 19 metrik CloudWatch, termasuk metrik untuk penggunaan dan throughput sumber daya. Selain itu, Anda dapat membuat metrik sendiri untuk melacak data khusus aplikasi, seperti memproses peristiwa atau mengakses sumber daya eksternal.
**Topics**
+ [Cara kerjanya](#monitoring-metrics-custom-howitworks)
+ [Lihat contoh untuk membuat kelas pemetaan](#monitoring-metrics-custom-examples)
+ [Lihat metrik khusus](#monitoring-metrics-custom-examples-viewing)
## Cara kerjanya
Metrik kustom dalam Layanan Terkelola untuk Apache Flink menggunakan sistem metrik Apache Flink. Metrik Apache Flink memiliki atribut berikut:
+ **Type** (Tipe): Tipe metrik menjelaskan cara mengukur dan melaporkan data. Tipe metrik Apache Flink yang tersedia termasuk Count, Gauge, Histogram, dan Meter. Untuk informasi selengkapnya tentang tipe metrik Apache Flink, lihat [Tipe Metrik](https://nightlies.apache.org/flink/flink-docs-release-1.15/monitoring/metrics.html#metric-types).
**catatan**
AWS CloudWatch Metrik tidak mendukung jenis metrik Histogram Apache Flink. CloudWatch hanya dapat menampilkan metrik Apache Flink dari tipe Count, Gauge, dan Meter.
+ **Lingkup:** Ruang lingkup metrik terdiri dari pengenal dan satu set pasangan nilai kunci yang menunjukkan bagaimana metrik akan dilaporkan. CloudWatch Pengidentifikasi metrik terdiri dari hal berikut:
+ Cakupan sistem, yang menunjukkan tingkat tempat metrik dilaporkan (misalnya Operator).
+ Cakupan pengguna, yang menentukan atribut seperti variabel pengguna atau nama grup metrik. Atribut ini didefinisikan menggunakan [https://ci.apache.org/projects/flink/flink-docs-master/api/java/org/apache/flink/metrics/MetricGroup.html#addGroup-java.lang.String-java.lang.String-](https://ci.apache.org/projects/flink/flink-docs-master/api/java/org/apache/flink/metrics/MetricGroup.html#addGroup-java.lang.String-java.lang.String-)atau [https://ci.apache.org/projects/flink/flink-docs-master/api/java/org/apache/flink/metrics/MetricGroup.html#addGroup-java.lang.String-](https://ci.apache.org/projects/flink/flink-docs-master/api/java/org/apache/flink/metrics/MetricGroup.html#addGroup-java.lang.String-).
Untuk informasi selengkapnya tentang cakupan metrik, lihat [Cakupan](https://nightlies.apache.org/flink/flink-docs-release-1.15/monitoring/metrics.html#scope).
Untuk informasi selengkapnya tentang metrik Apache Flink, lihat [Metrik](https://nightlies.apache.org/flink/flink-docs-release-1.15/monitoring/metrics.html) di [Dokumentasi Apache Flink](https://nightlies.apache.org/flink/flink-docs-release-1.15/).
Untuk membuat metrik kustom di Managed Service for Apache Flink, Anda dapat mengakses sistem metrik Apache Flink dari fungsi pengguna apa pun yang diperluas dengan menelepon. `RichFunction` [https://nightlies.apache.org/flink/flink-docs-release-1.15/api/java/org/apache/flink/api/common/functions/RuntimeContext.html#getMetricGroup--](https://nightlies.apache.org/flink/flink-docs-release-1.15/api/java/org/apache/flink/api/common/functions/RuntimeContext.html#getMetricGroup--) Metode ini mengembalikan [MetricGroup](https://nightlies.apache.org/flink/flink-docs-release-1.15/api/java/org/apache/flink/metrics/MetricGroup.html)objek yang dapat Anda gunakan untuk membuat dan mendaftarkan metrik kustom. Layanan Terkelola untuk Apache Flink melaporkan semua metrik yang dibuat dengan kunci grup. `KinesisAnalytics` CloudWatch Metrik kustom yang Anda tentukan memiliki karakteristik sebagai berikut:
+ Metrik kustom Anda memiliki nama metrik dan nama grup. [Nama-nama ini harus terdiri dari karakter alfanumerik menurut aturan penamaan Prometheus.](https://prometheus.io/docs/instrumenting/writing_exporters/#naming)
+ Atribut yang Anda tentukan dalam lingkup pengguna (kecuali untuk grup `KinesisAnalytics` metrik) diterbitkan sebagai CloudWatch dimensi.
+ Metrik kustom dipublikasikan di tingkat `Application` secara default.
+ Dimensi (Task/ Operator /Paralelism) ditambahkan ke metrik berdasarkan tingkat pemantauan aplikasi. Anda mengatur tingkat pemantauan aplikasi menggunakan [MonitoringConfiguration](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_MonitoringConfiguration.html)parameter [CreateApplication](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_CreateApplication.html)tindakan, atau [MonitoringConfigurationUpdate](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_MonitoringConfigurationUpdate.html)parameter [UpdateApplication](https://docs.aws.amazon.com/managed-flink/latest/apiv2/API_UpdateApplication.html)tindakan.
## Lihat contoh untuk membuat kelas pemetaan
Contoh kode berikut menunjukkan cara membuat kelas pemetaan yang membuat dan menambah metrik kustom, dan bagaimana menerapkan kelas pemetaan dalam aplikasi Anda dengan menambahkannya ke objek. `DataStream`
### Rekam hitungan metrik kustom
Contoh kode berikut menunjukkan cara membuat kelas pemetaan yang membuat metrik yang menghitung catatan dalam aliran data (fungsionalitas yang sama seperti metrik `numRecordsIn`):
```
private static class NoOpMapperFunction extends RichMapFunction {
private transient int valueToExpose = 0;
private final String customMetricName;
public NoOpMapperFunction(final String customMetricName) {
this.customMetricName = customMetricName;
}
@Override
public void open(Configuration config) {
getRuntimeContext().getMetricGroup()
.addGroup("KinesisAnalytics")
.addGroup("Program", "RecordCountApplication")
.addGroup("NoOpMapperFunction")
.gauge(customMetricName, (Gauge) () -> valueToExpose);
}
@Override
public String map(String value) throws Exception {
valueToExpose++;
return value;
}
}
```
Dalam contoh sebelumnya, variabel `valueToExpose` ditingkatkan untuk setiap catatan yang diproses aplikasi.
Setelah menentukan kelas pemetaan, Anda selanjutnya membuat aliran dalam aplikasi yang mengimplementasikan peta:
```
DataStream noopMapperFunctionAfterFilter =
kinesisProcessed.map(new NoOpMapperFunction("FilteredRecords"));
```
Untuk kode lengkap aplikasi ini, lihat [Aplikasi Metrik Kustom Hitungan Catatan](https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples/tree/main/java/CustomMetrics/RecordCount).
### Metrik kustom hitungan kata
Contoh kode berikut menunjukkan cara membuat kelas pemetaan yang membuat metrik yang menghitung kata dalam aliran data:
```
private static final class Tokenizer extends RichFlatMapFunction> {
private transient Counter counter;
@Override
public void open(Configuration config) {
this.counter = getRuntimeContext().getMetricGroup()
.addGroup("KinesisAnalytics")
.addGroup("Service", "WordCountApplication")
.addGroup("Tokenizer")
.counter("TotalWords");
}
@Override
public void flatMap(String value, Collector>out) {
// normalize and split the line
String[] tokens = value.toLowerCase().split("\\W+");
// emit the pairs
for (String token : tokens) {
if (token.length() > 0) {
counter.inc();
out.collect(new Tuple2<>(token, 1));
}
}
}
}
```
Dalam contoh sebelumnya, variabel `counter` ditingkatkan untuk setiap kata yang diproses aplikasi.
Setelah menentukan kelas pemetaan, Anda selanjutnya membuat aliran dalam aplikasi yang mengimplementasikan peta:
```
// Split up the lines in pairs (2-tuples) containing: (word,1), and
// group by the tuple field "0" and sum up tuple field "1"
DataStream> wordCountStream = input.flatMap(new Tokenizer()).keyBy(0).sum(1);
// Serialize the tuple to string format, and publish the output to kinesis sink
wordCountStream.map(tuple -> tuple.toString()).addSink(createSinkFromStaticConfig());
```
Untuk kode lengkap aplikasi ini, lihat [Aplikasi Metrik Kustom Hitungan Kata](https://github.com/aws-samples/amazon-managed-service-for-apache-flink-examples/tree/main/java/CustomMetrics/WordCount).
## Lihat metrik khusus
Metrik khusus untuk aplikasi Anda muncul di konsol CloudWatch Metrik di **AWS/KinesisAnalytics**dasbor, di bawah grup metrik **Aplikasi**.
# Gunakan CloudWatch Alarm dengan Amazon Managed Service untuk Apache Flink
Menggunakan alarm CloudWatch metrik Amazon, Anda menonton CloudWatch metrik selama periode waktu yang Anda tentukan. Alarm tersebut melakukan satu atau beberapa tindakan berdasarkan pada nilai metrik atau ekspresi relatif terhadap ambang batas selama beberapa periode waktu. Contoh tindakan mengirim pemberitahuan ke topik Amazon Simple Notification Service (Amazon SNS).
Untuk informasi selengkapnya tentang CloudWatch alarm, lihat [Menggunakan CloudWatch Alarm Amazon](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html).
## Tinjau alarm yang direkomendasikan
Bagian ini berisi alarm yang direkomendasikan untuk memantau Layanan Terkelola untuk aplikasi Apache Flink.
Tabel menjelaskan alarm yang direkomendasikan dan memiliki kolom berikut:
+ **Metric Expression** (Ekspresi Metrik): Metrik atau ekspresi metrik untuk menguji ambang.
+ **Statistic** (Statistik): Statistik yang digunakan untuk memeriksa metrik—misalnya, **Rata-rata**.
+ **Threshold** (Ambang): Menggunakan alarm ini mengharuskan Anda menentukan ambang yang menentukan batas performa aplikasi yang diharapkan. Anda perlu menentukan ambang ini dengan memantau aplikasi Anda dalam kondisi normal.
+ **Description** (Deskripsi): Penyebab yang mungkin memicu alarm ini, dan kemungkinan solusi untuk kondisi.
| Ekspresi Metrik | Statistik | Ambang | Deskripsi |
| --- |--- |--- |--- |
| downtime> 0 | Rata-rata | 0 | Waktu henti yang lebih besar dari nol menunjukkan bahwa aplikasi telah gagal. Jika nilainya lebih besar dari 0, aplikasi tidak memproses data apa pun. Direkomendasikan untuk semua aplikasi. DowntimeMetrik mengukur durasi pemadaman. Waktu henti yang lebih besar dari nol menunjukkan bahwa aplikasi telah gagal. Untuk pemecahan masalah, lihat. [Aplikasi dimulai ulang](troubleshooting-rt-restarts.md) |
| RATE (numberOfFailedCheckpoints)> 0 | Rata-rata | 0 | Metrik ini menghitung jumlah pos pemeriksaan yang gagal sejak aplikasi dimulai. Tergantung pada aplikasinya, itu bisa ditoleransi jika pos pemeriksaan gagal sesekali. Tetapi jika pos pemeriksaan secara teratur gagal, aplikasi tersebut kemungkinan tidak sehat dan perlu perhatian lebih lanjut. Kami merekomendasikan pemantauan RATE (numberOfFailedCheckpoints) untuk alarm pada gradien dan bukan pada nilai absolut. Direkomendasikan untuk semua aplikasi. Gunakan metrik ini untuk memantau kesehatan aplikasi dan kemajuan pos pemeriksaan. Aplikasi menyimpan data negara ke pos pemeriksaan saat sehat. Checkpointing dapat gagal karena batas waktu jika aplikasi tidak membuat kemajuan dalam memproses data input. Untuk pemecahan masalah, lihat. [Waktu titik checkpointing](troubleshooting-chk-timeout.md) |
| Operator.numRecordsOutPerSecond< ambang | Rata-rata | Jumlah minimum catatan yang dipancarkan dari aplikasi selama kondisi normal. | Direkomendasikan untuk semua aplikasi. Jatuh di bawah ambang batas ini dapat menunjukkan bahwa aplikasi tidak membuat kemajuan yang diharapkan pada data input. Untuk pemecahan masalah, lihat. [Throughput terlalu lambat](troubleshooting-rt-throughput.md) |
| records\$1lag\$1max\$1millisbehindLatest> ambang | Maksimum | Latensi maksimum yang diharapkan selama kondisi normal. | Jika aplikasi menggunakan Kinesis atau Kafka, metrik ini menunjukkan apakah aplikasi tertinggal dan perlu diskalakan untuk mengikuti beban saat ini. Ini adalah metrik generik yang baik yang mudah dilacak untuk semua jenis aplikasi. Tetapi itu hanya dapat digunakan untuk penskalaan reaktif, yaitu, ketika aplikasi sudah tertinggal. Direkomendasikan untuk semua aplikasi. Gunakan records\$1lag\$1max metrik untuk sumber Kafka, atau millisbehindLatest untuk sumber aliran Kinesis. Naik di atas ambang batas ini dapat menunjukkan bahwa aplikasi tidak membuat kemajuan yang diharapkan pada data input. Untuk pemecahan masalah, lihat. [Throughput terlalu lambat](troubleshooting-rt-throughput.md) |
| lastCheckpointDuration> ambang | Maksimum | Durasi pos pemeriksaan maksimum yang diharapkan selama kondisi normal. | Memantau berapa banyak data yang disimpan dalam keadaan dan berapa lama waktu yang dibutuhkan untuk mengambil pos pemeriksaan. Jika pos pemeriksaan bertambah atau memakan waktu lama, aplikasi terus menghabiskan waktu untuk pos pemeriksaan dan memiliki lebih sedikit siklus untuk pemrosesan yang sebenarnya. Di beberapa titik, pos pemeriksaan mungkin tumbuh terlalu besar atau memakan waktu lama sehingga gagal. Selain memantau nilai absolut, pelanggan juga harus mempertimbangkan untuk memantau tingkat perubahan dengan RATE(lastCheckpointSize) danRATE(lastCheckpointDuration). Jika lastCheckpointDuration terus meningkat, naik di atas ambang batas ini dapat menunjukkan bahwa aplikasi tidak membuat kemajuan yang diharapkan pada data input, atau bahwa ada masalah dengan kesehatan aplikasi seperti tekanan balik. Untuk pemecahan masalah, lihat. [Pertumbuhan negara tak terbatas](troubleshooting-rt-stateleaks.md) |
| lastCheckpointSize> ambang | Maksimum | Ukuran pos pemeriksaan maksimum yang diharapkan selama kondisi normal. | Memantau berapa banyak data yang disimpan dalam keadaan dan berapa lama waktu yang dibutuhkan untuk mengambil pos pemeriksaan. Jika pos pemeriksaan bertambah atau memakan waktu lama, aplikasi terus menghabiskan waktu untuk pos pemeriksaan dan memiliki lebih sedikit siklus untuk pemrosesan yang sebenarnya. Di beberapa titik, pos pemeriksaan mungkin tumbuh terlalu besar atau memakan waktu lama sehingga gagal. Selain memantau nilai absolut, pelanggan juga harus mempertimbangkan untuk memantau tingkat perubahan dengan RATE(lastCheckpointSize) danRATE(lastCheckpointDuration). Jika lastCheckpointSize terus meningkat, naik di atas ambang batas ini dapat menunjukkan bahwa aplikasi mengumpulkan data status. Jika data status menjadi terlalu besar, aplikasi dapat kehabisan memori saat pulih dari pos pemeriksaan, atau pemulihan dari pos pemeriksaan mungkin memakan waktu terlalu lama. Untuk pemecahan masalah, lihat. [Pertumbuhan negara tak terbatas](troubleshooting-rt-stateleaks.md) |
| heapMemoryUtilization> ambang | Maksimum | Ini memberikan indikasi yang baik tentang pemanfaatan sumber daya aplikasi secara keseluruhan dan dapat digunakan untuk penskalaan proaktif kecuali aplikasi terikat. I/O heapMemoryUtilizationUkuran maksimum yang diharapkan selama kondisi normal, dengan nilai yang disarankan 90 persen. | Anda dapat menggunakan metrik ini untuk memantau pemanfaatan memori maksimum pengelola tugas di seluruh aplikasi. Jika aplikasi mencapai ambang ini, Anda perlu menyediakan lebih banyak sumber daya. Anda melakukan ini dengan mengaktifkan penskalaan otomatis atau meningkatkan paralelisme aplikasi. Untuk informasi lebih lanjut tentang meningkatkan sumber daya, lihat[Menerapkan penskalaan aplikasi](how-scaling.md). |
| cpuUtilization> ambang | Maksimum | Ini memberikan indikasi yang baik tentang pemanfaatan sumber daya aplikasi secara keseluruhan dan dapat digunakan untuk penskalaan proaktif kecuali aplikasi terikat. I/O cpuUtilizationUkuran maksimum yang diharapkan selama kondisi normal, dengan nilai yang disarankan 80 persen. | Anda dapat menggunakan metrik ini untuk memantau pemanfaatan CPU maksimum pengelola tugas di seluruh aplikasi. Jika aplikasi mencapai ambang batas ini, Anda perlu menyediakan lebih banyak sumber daya Anda melakukan ini dengan mengaktifkan penskalaan otomatis atau meningkatkan paralelisme aplikasi. Untuk informasi lebih lanjut tentang meningkatkan sumber daya, lihat[Menerapkan penskalaan aplikasi](how-scaling.md). |
| threadsCount> ambang | Maksimum | threadsCountUkuran maksimum yang diharapkan selama kondisi normal. | Anda dapat menggunakan metrik ini untuk melihat kebocoran utas di pengelola tugas di seluruh aplikasi. Jika metrik ini mencapai ambang batas ini, periksa kode aplikasi Anda untuk utas yang dibuat tanpa ditutup. |
| (oldGarbageCollectionTime \$1 100)/60\$1000 over 1 min period')> ambang | Maksimum | oldGarbageCollectionTimeDurasi maksimum yang diharapkan. Kami merekomendasikan untuk menetapkan ambang batas sehingga waktu pengumpulan sampah tipikal adalah 60 persen dari ambang batas yang ditentukan, tetapi ambang batas yang benar untuk aplikasi Anda akan bervariasi. | Jika metrik ini terus meningkat, ini dapat menunjukkan bahwa ada kebocoran memori di pengelola tugas di seluruh aplikasi. |
| RATE(oldGarbageCollectionCount) > ambang | Maksimum | Maksimum yang diharapkan oldGarbageCollectionCount dalam kondisi normal. Ambang batas yang benar untuk aplikasi Anda akan bervariasi. | Jika metrik ini terus meningkat, ini dapat menunjukkan bahwa ada kebocoran memori di pengelola tugas di seluruh aplikasi. |
| Operator.currentOutputWatermark - Operator.currentInputWatermark > ambang | Minimum | Peningkatan watermark minimum yang diharapkan dalam kondisi normal. Ambang batas yang benar untuk aplikasi Anda akan bervariasi. | Jika metrik ini terus meningkat, ini dapat menunjukkan bahwa aplikasi sedang memproses peristiwa yang semakin lama, atau bahwa subtugas hulu belum mengirim tanda air dalam waktu yang semakin lama. |