Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

# Überwachung von Apache Iceberg-Workloads
<a name="monitoring"></a>

[Um Iceberg-Workloads zu überwachen, haben Sie zwei Möglichkeiten: die Analyse von [Metadatentabellen](https://iceberg.apache.org/docs/latest/spark-queries/#inspecting-tables) oder die Verwendung von Metrik-Reportern.](https://iceberg.apache.org/javadoc/latest/index.html?org/apache/iceberg/metrics/MetricsReporter.html) Metrik-Reporter wurden in Iceberg Version 1.2 eingeführt und sind nur für REST- und JDBC-Kataloge verfügbar.

Wenn Sie Iceberg-Tabellen verwenden AWS Glue Data Catalog, können Sie Einblicke in den Zustand Ihrer Iceberg-Tabellen gewinnen, indem Sie zusätzlich zu den von Iceberg bereitgestellten Metadatentabellen eine Überwachung einrichten.

Die Überwachung ist für das Leistungsmanagement und die Fehlerbehebung von entscheidender Bedeutung. Wenn beispielsweise eine Partition in einer Iceberg-Tabelle einen bestimmten Prozentsatz kleiner Dateien erreicht, kann Ihr Workload einen Komprimierungsjob starten, um die Dateien zu größeren Dateien zu konsolidieren. Dadurch wird verhindert, dass Abfragen über ein akzeptables Maß hinaus verlangsamt werden.

## Überwachung auf Tabellenebene
<a name="table-level-monitoring"></a>

Der folgende Bildschirm zeigt ein Dashboard zur Tabellenüberwachung, das in Amazon Quick Sight erstellt wurde. Dieses Dashboard fragt Iceberg-Metadatentabellen mithilfe von Spark SQL ab und erfasst detaillierte Metriken wie die Anzahl der aktiven Dateien und den Gesamtspeicher. Diese Informationen werden dann für betriebliche Zwecke in AWS Glue Tabellen gespeichert. Schließlich wird ein Quick Sight-Dashboard, wie in der folgenden Abbildung gezeigt, mithilfe von Amazon Athena erstellt. Diese Informationen helfen Ihnen dabei, spezifische Probleme in Ihren Systemen zu identifizieren und zu beheben.

![Quick Sight-Dashboard zur Überwachung von Iceberg-Tabellen](http://docs.aws.amazon.com/de_de/prescriptive-guidance/latest/apache-iceberg-on-aws/images/quicksight-table.png)


Das Quick Sight-Beispiel-Dashboard erfasst die folgenden wichtigen Leistungsindikatoren (KPIs) für eine Iceberg-Tabelle:


| **KPI** | **Beschreibung** | **Query** | 
| --- |--- |--- |
| **Anzahl der Dateien** | Die Anzahl der Dateien in der Iceberg-Tabelle (für alle Snapshots) | <pre>select count(*) <br />from <catalog.database.table_name>.all_files</pre> | 
| **Anzahl der aktiven Dateien** | Die Anzahl der aktiven Dateien im letzten Snapshot der Iceberg-Tabelle | <pre>select count(*) <br />from <catalog.database.table_name>.files</pre> | 
| **Durchschnittliche Dateigröße** | Die durchschnittliche Dateigröße in Megabyte für alle Dateien in der Iceberg-Tabelle | <pre>select avg(file_size_in_bytes)/1000000 <br />from <catalog.database.table_name>.all_files</pre> | 
| **Durchschnittliche Größe der aktiven Datei** | Die durchschnittliche Dateigröße in Megabyte für die aktiven Dateien in der Iceberg-Tabelle | <pre>select avg(file_size_in_bytes)/1000000 <br />from <catalog.database.table_name>.files</pre> | 
| **Prozentsatz kleiner Dateien** | Der Prozentsatz der aktiven Dateien, die kleiner als 100 MB sind | <pre>select cast(sum(case when file_size_in_bytes < 100000000 then 1 else 0 end)*100/count(*) as decimal(10,2)) <br />from <catalog.database.table_name>.files</pre> | 
| **Gesamtspeichergröße** | Die Gesamtgröße aller Dateien in der Tabelle, ausgenommen verwaiste Dateien und Amazon S3 S3-Objektversionen (falls aktiviert) | <pre>select sum(file_size_in_bytes)/1000000 <br />from <catalog.database.table_name>.all_files</pre> | 
| **Gesamtgröße des aktiven Speichers** | Die Gesamtgröße aller Dateien in den aktuellen Snapshots einer bestimmten Tabelle | <pre>select sum(file_size_in_bytes)/1000000 <br />from <catalog.database.table_name>.files</pre> | 

Weitere Informationen zum Erstellen von Dashboards finden Sie in der [Quick Sight-Dokumentation](https://docs.aws.amazon.com/quicksuite/latest/userguide/quick-bi.html).

## Überwachung auf Datenbankebene
<a name="database-level-monitoring"></a>

Das folgende Beispiel zeigt ein Überwachungs-Dashboard, das in Quick Sight erstellt wurde, um einen Überblick über die Datenbankebene KPIs für eine Sammlung von Iceberg-Tabellen zu bieten.

![QuickSight Dashboard für die Überwachung auf Datenbankebene für Iceberg](http://docs.aws.amazon.com/de_de/prescriptive-guidance/latest/apache-iceberg-on-aws/images/quicksight-database.png)


Dieses Dashboard sammelt Folgendes: KPIs


<table>
<thead>
  <tr><th>**KPI**</th><th>**Beschreibung**</th><th>**Query**</th></tr>
</thead>
<tbody>
  <tr><td>**Anzahl der Dateien**</td><td>Die Anzahl der Dateien in der Iceberg-Datenbank (für alle Snapshots)</td><td rowspan="7">Dieses Dashboard verwendet die Abfragen auf Tabellenebene, die im vorherigen Abschnitt bereitgestellt wurden, und konsolidiert die Ergebnisse.</td></tr>
  <tr><td>**Anzahl der aktiven Dateien**</td><td>Die Anzahl der aktiven Dateien in der Iceberg-Datenbank (basierend auf den letzten Snapshots der Iceberg-Tabellen)</td></tr>
  <tr><td>**Durchschnittliche Dateigröße**</td><td>Die durchschnittliche Dateigröße in Megabyte für alle Dateien in der Iceberg-Datenbank</td></tr>
  <tr><td>**Durchschnittliche Größe der aktiven Datei**</td><td>Die durchschnittliche Dateigröße in Megabyte für alle aktiven Dateien in der Iceberg-Datenbank</td></tr>
  <tr><td>**Prozentsatz kleiner Dateien**</td><td>Der Prozentsatz der aktiven Dateien, die kleiner als 100 MB sind, in der Iceberg-Datenbank</td></tr>
  <tr><td>**Gesamtgröße des Speichers**</td><td>Die Gesamtgröße aller Dateien in der Datenbank, ausgenommen verwaiste Dateien und Amazon S3 S3-Objektversionen (falls aktiviert)</td></tr>
  <tr><td>**Gesamtgröße des aktiven Speichers**</td><td>Die Gesamtgröße aller Dateien in den aktuellen Snapshots aller Tabellen in der Datenbank</td></tr>
</tbody>
</table>


## Präventive Wartung
<a name="preventive-maintenance"></a>

Durch die Einrichtung der in den vorherigen Abschnitten erläuterten Überwachungsfunktionen können Sie die Tabellenpflege aus einem präventiven und nicht aus einem reaktiven Blickwinkel betrachten. Sie können beispielsweise die Metriken auf Tabellen- und Datenbankebene verwenden, um Aktionen wie die folgenden zu planen:
+ Verwenden Sie die Bin-Packing-Komprimierung, um kleine Dateien zu gruppieren, wenn eine Tabelle N kleine Dateien erreicht.
+ Verwenden Sie die Bin-Packing-Komprimierung, um gelöschte Dateien zusammenzuführen, wenn eine Tabelle N Löschdateien in einer bestimmten Partition erreicht.
+ Entfernen Sie kleine Dateien, die bereits komprimiert wurden, indem Sie Snapshots entfernen, wenn der Gesamtspeicher X-mal höher ist als der aktive Speicher.