Empfohlene CloudWatch Alarme für von Amazon MSK bereitgestellte Cluster

Überwachen Sie Ihre von Amazon MSK bereitgestellten Cluster, um Probleme zu erkennen, bevor sie sich auf Ihre Anwendungen auswirken. CloudWatch Alarme führen eine Aktion aus, wenn eine CloudWatch Metrik einen bestimmten Wert für eine gewisse Zeit überschreitet. Beispielsweise möchten Sie möglicherweise eine E-Mail-Benachrichtigung erhalten, wenn Ihre Partitionsanzahl den empfohlenen Wert für die Größe Ihrer Broker-Instanz länger als 15 Minuten überschreitet. Die kritischen Alarme in der folgenden Tabelle werden empfohlen, stellen jedoch keine vollständige Liste der Alarme dar, die Sie zur Überwachung Ihres Clusters erstellen können.

Weitere Informationen zur Konfiguration von Alarmen finden Sie unter Erstellen von CloudWatch Amazon-Alarmen im CloudWatch Amazon-Benutzerhandbuch.

In der folgenden Tabelle sind Alarme aufgeführt, die sowohl für Standard- als auch für Express-Broker gelten.

Alarm Problem

Alarm	Problem
`CPUUser`+ `CPUSystem` Durchschnitt >= 60 für 5 Minuten, dreimal hintereinander Maße: `Cluster Name`, `Broker ID`	Bei einem oder mehreren Brokern liegt der durchschnittliche CPU-Benutzer+CPU-System über den empfohlenen 60%. Weitere Informationen hierzu finden Sie unter CPU-Auslastung überwachen.
`PartitionCount`Durchschnittlich >= X für 5 Minuten, dreimal hintereinander (X = empfohlene Partitionsanzahl für die Größe der Broker-Instance) Maße: `Cluster Name`, `Broker ID`	Ein oder mehrere Broker haben Partitionen, die das empfohlene Limit für die Anzahl der Partitionen überschreiten. Weitere Informationen hierzu finden Sie unter Right-size Ihr Cluster: Anzahl der Partitionen pro Standard-Broker und Partitionskontingent für Express Broker.
`SumOffsetLag`Durchschnitt >= X für 5 Minuten, dreimal hintereinander (X wird je nach Anwendungsfall für eine Kombination aus Verbrauchergruppe und Thema festgelegt) Dimensionen: `Cluster Name`, `Consumer Group`, `Topic`	Die aggregierte Offset-Verzögerung für alle Partitionen in einem Thema liegt über X. Für weitere Informationen zur Verzögerung können Sie die `Offset` Metrik auf Partitionsebene verwenden, die die Verzögerung für jede Partition darstellt, oder das Kafka-Befehlszeilentool verwenden, um die Benutzergruppe zu beschreiben. Prüfen Sie die Verarbeitungsgeschwindigkeit Ihrer Verbraucheranwendung im Vergleich zu den Herstellern, um herauszufinden, ob die Verbraucher nicht in der Lage sind, Schritt zu halten, und überprüfen Sie, ob etwaige Ungleichgewichte bei den Verbrauchern zu Lasten der Verbraucher gehen.

CPUUser+ CPUSystem Durchschnitt >= 60 für 5 Minuten, dreimal hintereinander

Maße: Cluster Name, Broker ID

Bei einem oder mehreren Brokern liegt der durchschnittliche CPU-Benutzer+CPU-System über den empfohlenen 60%. Weitere Informationen hierzu finden Sie unter CPU-Auslastung überwachen.

PartitionCountDurchschnittlich >= X für 5 Minuten, dreimal hintereinander (X = empfohlene Partitionsanzahl für die Größe der Broker-Instance)

Maße: Cluster Name, Broker ID

Ein oder mehrere Broker haben Partitionen, die das empfohlene Limit für die Anzahl der Partitionen überschreiten. Weitere Informationen hierzu finden Sie unter Right-size Ihr Cluster: Anzahl der Partitionen pro Standard-Broker und Partitionskontingent für Express Broker.

SumOffsetLagDurchschnitt >= X für 5 Minuten, dreimal hintereinander (X wird je nach Anwendungsfall für eine Kombination aus Verbrauchergruppe und Thema festgelegt)

Dimensionen: Cluster Name, Consumer Group, Topic

Die aggregierte Offset-Verzögerung für alle Partitionen in einem Thema liegt über X. Für weitere Informationen zur Verzögerung können Sie die Offset Metrik auf Partitionsebene verwenden, die die Verzögerung für jede Partition darstellt, oder das Kafka-Befehlszeilentool verwenden, um die Benutzergruppe zu beschreiben. Prüfen Sie die Verarbeitungsgeschwindigkeit Ihrer Verbraucheranwendung im Vergleich zu den Herstellern, um herauszufinden, ob die Verbraucher nicht in der Lage sind, Schritt zu halten, und überprüfen Sie, ob etwaige Ungleichgewichte bei den Verbrauchern zu Lasten der Verbraucher gehen.

In der folgenden Tabelle sind Alarme aufgeführt, die nur für Standard-Broker gelten.

Alarm	Problem
`OfflinePartitionsCount`Durchschnitt >= 1 für 1 Minute, dreimal hintereinander Maße: `Cluster Name`	Eine oder mehrere Themenpartitionen sind nicht verfügbar. Wenn Partitionen nicht verfügbar sind, schlagen Produktions- und Konsumvorgänge für diese Partitionen fehl. Offline-Partitionen sollten nicht in einem ausgewogenen, korrekt dimensionierten und korrekt konfigurierten Cluster vorkommen. Weitere Informationen hierzu finden Sie unter Erstellen hochverfügbarer Cluster.
`UnderMinIsrPartitionCount`Durchschnitt >= 1 für 1 Minute, dreimal hintereinander Maße: `Cluster Name`, `Broker ID`	Bei einem oder mehreren Themen liegen die Partitionen unter dem Mindestwert für den konfigurierten In-Sync-Replikatsatz (ISR). Wenn Partitionen unter den Mindest-ISR fallen, schlagen die Produktionsvorgänge fehl (mit Producer). `acks=all` Weitere Informationen hierzu finden Sie unter Erstellen hochverfügbarer Cluster.
`KafkaDataLogsDiskUsed`Durchschnittlich >= 80 für 5 Minuten, dreimal hintereinander Maße: `Cluster Name`, `Broker ID`	Bei einem oder mehreren Brokern liegt die Festplattenauslastung bei mindestens 80%. Weitere Informationen hierzu finden Sie unter Überwachen der Festplattenkapazität.
`HeapMemoryAfterGC`Durchschnittlich >= 60 für 5 Minuten, dreimal hintereinander Maße: `Cluster Name`, `Broker ID`	Bei einem oder mehreren Brokern sind nach der Garbage-Collection 60% oder mehr des gesamten Heap-Speichers belegt. Weitere Informationen hierzu finden Sie unter Apache-Kafka-Arbeitsspeicher überwachen.
(Sum (`VolumeReadBytes`) + Sum (`VolumeWriteBytes`))/(5 * 60 * 1024 * 1024) >= X MiB für 5 Minuten, dreimal hintereinander (X = 80% des verfügbaren Volumendurchsatzes) Maße: `Cluster Name`, `Broker ID`	Bei einem oder mehreren Brokern liegt die zugrunde liegende Volume Lese- und Schreibaktivität vor, die bis zu 80% des verfügbaren Volumendurchsatzes beansprucht. Weitere Informationen finden Sie unter Durchsatz https://docs.aws.amazon.com/msk/latest/developerguide/msk-provision-throughput-management.html für bereitgestellten Speicher.
`CPUCreditBalance`Durchschnitt <= 100 für 5 Minuten, dreimal hintereinander Maße: `Cluster Name`, `Broker ID`	Dies ist nur für den Brokertyp t3.small relevant. Ein oder mehrere Broker haben ihr CPU-Guthaben von maximal 576 auf weniger als 100 aufgebraucht. Wenn das Guthaben 0 erreicht, darf der Broker den CPU-Basiswert von 20% nicht überschreiten. Um eine Erschöpfung des CPU-Guthabens zu vermeiden, führen Sie ein Upgrade von einem t3-Broker-Instance-Typ auf einen m7g-Instance-Typ durch, der kein CPU-Guthaben verwendet.
`RequestHandlerAvgIdlePercent`Durchschnitt <= 0,3 für 5 Minuten, dreimal hintereinander Maße: `Cluster Name`, `Broker ID`	Bei einem oder mehreren Brokern kommt es zu einer Überlastung des Threadpools, der für die Bearbeitung von Anfragen verantwortlich ist (der Threadpool ist zu weniger als 30% inaktiv). Eine Sättigung deutet hier auf langsame Anfragen hin, die zu clientseitigen Timeouts führen können. Prüfen Sie auch, ob Ihre Kunden übermäßig viele Anfragen generieren. Beispielsweise könnten nicht autorisierte Kunden Anfragen, die die Makler ablehnen, aggressiv wiederholen. Weitere Informationen zur Optimierung des Cluster-Durchsatzes finden Sie unter. Optimieren Sie den Cluster-Durchsatz für m5.4xl, m7g.4xl oder größere Instances
`NetworkProcessorAvgIdlePercent`Durchschnitt <= 0,3 für 5 Minuten, dreimal hintereinander Maße: `Cluster Name`, `Broker ID`	Bei einem oder mehreren Brokern ist die Aktivität im Threadpool der Netzwerkverbindung überlastet (der Threadpool ist zu weniger als 30% inaktiv). Eine Überlastung hier kann zu Timeouts führen. Prüfen Sie auch, ob Ihre Kunden übermäßig viele Anfragen generieren. Beispielsweise könnten nicht autorisierte Kunden Anfragen, die die Makler ablehnen, aggressiv wiederholen. Weitere Informationen zur Optimierung des Cluster-Durchsatzes finden Sie unter. Optimieren Sie den Cluster-Durchsatz für m5.4xl, m7g.4xl oder größere Instances
`KafkaFileDescriptorsUsagePercent`> 80% für 5 Minuten, dreimal hintereinander Maße: `Cluster Name`, `Broker ID`	Der Prozentsatz der Dateideskriptoren, die auf dem Broker verwendet werden. Bei 100% iger Erschöpfung kann der Kafka-Broker möglicherweise nicht starten. Die Anzahl der Dateideskriptoren steigt mit der Anzahl der Partitionen, der Anzahl der Protokollsegmente in jeder Partition und der Anzahl der Client-Verbindungen. Prüfen Sie, ob Sie Themen mit niedrigen `segment.ms` Werten haben, die zu häufigen Log-Rolls führen, und erwägen Sie, die Anzahl der Client-Verbindungen zu reduzieren.
`KafkaMemoryMappedFilesUsagePercent`> 80% für 5 Minuten, dreimal hintereinander Maße: `Cluster Name`, `Broker ID`	Der Prozentsatz der Dateien mit Speicherabbildung, die auf dem Broker verwendet werden. Bei 100% iger Erschöpfung kann der Kafka-Broker möglicherweise nicht starten. Die Anzahl der Speicherzuordnungsdateien steigt mit der Anzahl der Partitionen und der Anzahl der Protokollsegmente in jeder Partition. Prüfen Sie, ob Sie Themen mit niedrigen `segment.ms` Werten haben, die zu häufigen Log-Rolls führen.

Alarme bei der IAM-Zugriffskontrolle

Zusätzlich zu den vorherigen Alarmen empfehlen wir, Alarme für die folgenden Metriken zu erstellen, die für die IAM-Zugriffskontrolle spezifisch sind. Diese Alarme gelten sowohl für Standard- als auch für Express-Broker mit aktivierter IAM-Authentifizierung. Amazon MSK legt logische Grenzwerte für IAM-Verbindungen fest, um den Broker vor einer Überlastung der IAM-Verbindungsanforderungen zu schützen. Das Überschreiten eines dieser Grenzwerte führt zu Timeouts bei der Client-Verbindung, was sich auf Ihre Arbeitslast auswirkt.

Alarm Problem

Alarm	Problem
`ClientConnectionCount`Summe >= X für 1 Minute, dreimal hintereinander (X = 80% der maximalen TCP-Verbindungen pro Broker) Dimensionen: `Cluster Name`, `Broker ID`, `Client Authentication`	Bei einem oder mehreren Brokern entspricht die Verbindungsanzahl 80% des Verbindungslimits. Die Standardeinstellung für maximale TCP-Verbindungen pro Broker für die IAM-Zugriffskontrolle ist 3000. Dieser Wert kann geändert werden. Weitere Informationen finden Sie unter Amazon MSK Express-Brokerquote Für Express-Broker und Amazon MSK Standard-Broker-Kontingent für Standard-Broker.
`ConnectionCreationRate`Summe >= X für 1 Minute, dreimal hintereinander (X = 80% des Grenzwerts für die Verbindungserstellungsrate für Ihre Instance-Größe) Maße: `Cluster Name`, `Broker ID`	Ein oder mehrere Broker haben Kunden, die IAM-Verbindungen mit einer Rate herstellen, die 80% des Grenzwerts für die Verbindungserstellungsrate entspricht. Die maximale TCP-Verbindungsrate pro Broker für die IAM-Zugriffskontrolle hängt von der Instanzgröße ab. Weitere Informationen finden Sie unter Amazon MSK Express-Brokerquote Für Express-Broker und Amazon MSK Standard-Broker-Kontingent für Standard-Broker.

ClientConnectionCountSumme >= X für 1 Minute, dreimal hintereinander (X = 80% der maximalen TCP-Verbindungen pro Broker)

Dimensionen: Cluster Name, Broker ID, Client Authentication

Bei einem oder mehreren Brokern entspricht die Verbindungsanzahl 80% des Verbindungslimits. Die Standardeinstellung für maximale TCP-Verbindungen pro Broker für die IAM-Zugriffskontrolle ist 3000. Dieser Wert kann geändert werden. Weitere Informationen finden Sie unter Amazon MSK Express-Brokerquote Für Express-Broker und Amazon MSK Standard-Broker-Kontingent für Standard-Broker.

ConnectionCreationRateSumme >= X für 1 Minute, dreimal hintereinander (X = 80% des Grenzwerts für die Verbindungserstellungsrate für Ihre Instance-Größe)

Maße: Cluster Name, Broker ID

Ein oder mehrere Broker haben Kunden, die IAM-Verbindungen mit einer Rate herstellen, die 80% des Grenzwerts für die Verbindungserstellungsrate entspricht. Die maximale TCP-Verbindungsrate pro Broker für die IAM-Zugriffskontrolle hängt von der Instanzgröße ab. Weitere Informationen finden Sie unter Amazon MSK Express-Brokerquote Für Express-Broker und Amazon MSK Standard-Broker-Kontingent für Standard-Broker.

Warnung JavaScript ist in Ihrem Browser nicht verfügbar oder deaktiviert.

Zur Nutzung der AWS-Dokumentation muss JavaScript aktiviert sein. Weitere Informationen finden auf den Hilfe-Seiten Ihres Browsers.

Dokumentkonventionen

Bewährte Verfahren für Standard-Broker

Bewährte Verfahren für Express-Broker