Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Memantau beban kerja Apache Iceberg
<a name="monitoring"></a>

[Untuk memantau beban kerja Iceberg, Anda memiliki dua opsi: menganalisis [tabel metadata atau menggunakan reporter metrik](https://iceberg.apache.org/docs/latest/spark-queries/#inspecting-tables).](https://iceberg.apache.org/javadoc/latest/index.html?org/apache/iceberg/metrics/MetricsReporter.html) Reporter metrik diperkenalkan dalam Iceberg versi 1.2 dan hanya tersedia untuk katalog REST dan JDBC.

Jika Anda menggunakan AWS Glue Data Catalog, Anda dapat memperoleh wawasan tentang kesehatan tabel Gunung Es Anda dengan mengatur pemantauan di atas tabel metadata yang diekspos Iceberg.

Pemantauan sangat penting untuk manajemen kinerja dan pemecahan masalah. Misalnya, ketika partisi dalam tabel Iceberg mencapai persentase tertentu dari file kecil, beban kerja Anda dapat memulai pekerjaan pemadatan untuk mengkonsolidasikan file menjadi yang lebih besar. Ini mencegah kueri melambat di luar tingkat yang dapat diterima.

## Pemantauan tingkat meja
<a name="table-level-monitoring"></a>

Layar berikut menunjukkan dasbor pemantauan tabel yang dibuat di Amazon Quick Sight. Dasbor ini menanyakan tabel metadata Iceberg dengan menggunakan Spark SQL, dan menangkap metrik terperinci seperti jumlah file aktif dan total penyimpanan. Informasi ini kemudian disimpan dalam AWS Glue tabel untuk tujuan operasional. Akhirnya, dasbor Quick Sight, seperti yang ditunjukkan pada ilustrasi berikut, dibuat dengan menggunakan Amazon Athena. Informasi ini membantu Anda mengidentifikasi dan mengatasi masalah spesifik dalam sistem Anda.

![\[Dasbor Quick Sight untuk memantau tabel Iceberg\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/apache-iceberg-on-aws/images/quicksight-table.png)


Contoh dasbor Quick Sight mengumpulkan indikator kinerja utama berikut (KPIs) untuk tabel Iceberg:


| **KPI** | **Deskripsi** | **Kueri** | 
| --- |--- |--- |
| **Jumlah file** | Jumlah file dalam tabel Iceberg (untuk semua snapshot) | <pre>select count(*) <br />from <catalog.database.table_name>.all_files</pre> | 
| **Jumlah file aktif** | Jumlah file aktif dalam snapshot terakhir dari tabel Iceberg | <pre>select count(*) <br />from <catalog.database.table_name>.files</pre> | 
| **Ukuran file rata-rata** | Ukuran file rata-rata, dalam megabyte, untuk semua file di tabel Iceberg | <pre>select avg(file_size_in_bytes)/1000000 <br />from <catalog.database.table_name>.all_files</pre> | 
| **Ukuran file aktif rata-rata** | Ukuran file rata-rata, dalam megabyte, untuk file aktif dalam tabel Iceberg | <pre>select avg(file_size_in_bytes)/1000000 <br />from <catalog.database.table_name>.files</pre> | 
| **Persentase file kecil** | Persentase file aktif yang lebih kecil dari 100 MB | <pre>select cast(sum(case when file_size_in_bytes < 100000000 then 1 else 0 end)*100/count(*) as decimal(10,2)) <br />from <catalog.database.table_name>.files</pre> | 
| **Ukuran penyimpanan total** | Ukuran total semua file dalam tabel, tidak termasuk file yatim piatu dan versi objek Amazon S3 (jika diaktifkan) | <pre>select sum(file_size_in_bytes)/1000000 <br />from <catalog.database.table_name>.all_files</pre> | 
| **Total ukuran penyimpanan aktif** | Ukuran total semua file dalam snapshot saat ini dari tabel yang diberikan | <pre>select sum(file_size_in_bytes)/1000000 <br />from <catalog.database.table_name>.files</pre> | 

Untuk informasi selengkapnya tentang membuat dasbor, lihat [dokumentasi Quick Sight](https://docs.aws.amazon.com/quicksuite/latest/userguide/quick-bi.html).

## Pemantauan tingkat database
<a name="database-level-monitoring"></a>

Contoh berikut menunjukkan dasbor pemantauan yang dibuat di Quick Sight untuk memberikan gambaran tingkat database KPIs untuk kumpulan tabel Iceberg.

![\[QuickSight dasbor untuk pemantauan tingkat database untuk Iceberg\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/apache-iceberg-on-aws/images/quicksight-database.png)


Dasbor ini mengumpulkan yang berikut: KPIs

[\[See the AWS documentation website for more details\]](http://docs.aws.amazon.com/id_id/prescriptive-guidance/latest/apache-iceberg-on-aws/monitoring.html)

## Pemeliharaan preventif
<a name="preventive-maintenance"></a>

Dengan menyiapkan kemampuan pemantauan yang dibahas di bagian sebelumnya, Anda dapat mendekati pemeliharaan tabel dari sudut preventif alih-alih reaktif. Misalnya, Anda dapat menggunakan metrik tingkat tabel dan tingkat database untuk menjadwalkan tindakan seperti berikut:
+ Gunakan pemadatan kemasan bin untuk mengelompokkan file kecil saat tabel mencapai N file kecil.
+ Gunakan pemadatan kemasan bin untuk menggabungkan file hapus saat tabel mencapai N menghapus file di partisi tertentu.
+ Hapus file kecil yang sudah dipadatkan dengan menghapus snapshot saat total penyimpanan X kali lebih tinggi dari penyimpanan aktif.