Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

CloudWatch Lösung: Kafka-Workload auf Amazon EC2

Diese Lösung unterstützt Sie bei der Konfiguration der Erfassung von out-of-the-box Metriken mithilfe von CloudWatch Agenten für Kafka-Workloads (Broker, Produzenten und Verbraucher), die auf Instances ausgeführt werden. EC2 Darüber hinaus hilft sie Ihnen bei der Einrichtung eines vorkonfigurierten CloudWatch Dashboards. Allgemeine Informationen zu allen CloudWatch Observability-Lösungen finden Sie unter. CloudWatch Observability-Lösungen

Voraussetzungen

Diese Lösung ist für folgende Bedingungen relevant:

Vorteile

Die Lösung bietet Kafka-Server-Überwachung und wertvolle Erkenntnisse für die folgenden Anwendungsfälle:

Im Folgenden sind die Hauptvorteile der Lösung aufgeführt:

Die nachfolgende Abbildung ist ein Beispiel eines Dashboards dieser Lösung.

Kosten

Diese Lösung erstellt und nutzt Ressourcen in Ihrem Konto. Ihnen wird die Standardnutzung berechnet, einschließlich der folgenden Kosten:

Weitere Informationen zur CloudWatch Preisgestaltung finden Sie unter CloudWatch Amazon-Preise.

Mithilfe des Preisrechners können Sie die ungefähren monatlichen Kosten für die Nutzung dieser Lösung abschätzen.

CloudWatch Agentenkonfiguration für diese Lösung

Der CloudWatch Agent ist eine Software, die kontinuierlich und autonom auf Ihren Servern und in containerisierten Umgebungen ausgeführt wird. Es sammelt Metriken, Logs und Traces aus Ihrer Infrastruktur und Ihren Anwendungen und sendet sie an CloudWatch X-Ray.

Weitere Informationen über den CloudWatch Agenten finden Sie unterErfassen Sie mithilfe des CloudWatch Agenten Metriken, Protokolle und Traces.

Die Agentenkonfiguration in dieser Lösung erfasst die grundlegenden Metriken für Kafka, JVM und. EC2 Der CloudWatch Agent kann so konfiguriert werden, dass er standardmäßig mehr Kafka- und JVM-Metriken sammelt, als das Dashboard anzeigt. Eine Liste aller Kafka-Metriken, die Sie erfassen können, finden Sie unter Erfassen von Kafka-Metriken. Eine Liste aller JVM-Metriken, die Sie erfassen können, finden Sie unter Erfassen von JVM-Metriken. Eine Liste der EC2 Metriken finden Sie unter. Vom CloudWatch Agenten auf Linux- und macOS-Instances gesammelte Metriken

Machen Sie JMX-Ports für die Kafka-Broker-, Produzenten- und Verbraucher-Rollen verfügbar

Der CloudWatch Agent verwendet JMX, um die Kennzahlen zu den Maklern, Herstellern und Verbrauchern von Kafka zu sammeln. Um das zu ermöglichen, müssen Sie den JMX-Port auf Ihren Servern und Anwendungen aus verfügbar machen.

Für Kafka-Broker müssen Sie mithilfe der JMX_PORT-Umgebungsvariable den Port festlegen. Sie müssen die Broker neu starten, nachdem Sie diese Umgebungsvariable festgelegt haben. Sehen Sie sich die Startskripts und Konfigurationsdateien Ihrer Anwendung an, um herauszufinden, wo Sie diese Argumente am besten ergänzen können.

Für Linux- und macOS-Systeme können Sie beispielsweise mithilfe des folgenden Befehls den JMX-Port festlegen. Achten Sie auf die Angabe einer ungenutzten Portnummer.

export JMX_PORT=port-number

Für Kafka-Produzenten und -Verbraucher hängen die Anweisungen zum Offenlegen des JMX-Ports vom Workload-Typ ab, den Sie für Ihre Produzenten- oder Verbraucher-JVM-Anwendung verwenden. In der Dokumentation Ihrer Anwendung finden Sie diese Anweisungen.

Um einen JMX-Port für die Überwachung und Verwaltung zu aktivieren, müssen Sie allgemein die folgenden Systemeigenschaften für Ihre JVM-Anwendung festlegen. Im folgenden Beispiel wird für nicht authentifiziertes JMX konfiguriert. Wenn Sie aus Sicherheitsgründen JMX mit Kennwortauthentifizierung oder SSL für den Fernzugriff aktivieren policies/requirements müssen, finden Sie in der JMX-Dokumentation nach, um die erforderliche Eigenschaft festzulegen.

-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.port=port-number
-Dcom.sun.management.jmxremote.authenticate=false 
-Dcom.sun.management.jmxremote.ssl=false

Führen Sie ps aux | grep jmxremote.port aus, um den JMX-Port zu überprüfen. Die Ergebnisse sollten zeigen, dass der JMX-Port für JVM-Prozesse festgelegt wurde.

Agentenkonfiguration für diese Lösung

Die vom Agenten zu erfassenden Metriken werden in der Agentenkonfiguration definiert. Die Lösung bietet Agenten-Konfigurationen zum Erfassen der empfohlenen Metriken mit geeigneten Dimensionen für das Dashboard der Lösung. Jede Kafka-Rolle, z. B. Broker, Producer oder Consumer, hat ihre eigene Agentenkonfiguration, die die Erfassung von Kafka-Metriken und der zugrunde liegenden JVM und Metriken ermöglicht. EC2

Die Schritte zur Bereitstellung der Lösung werden weiter unten in Bereitstellung des Agenten für Ihre Lösung beschrieben. Die folgenden Informationen beschreiben, wie Sie die Agentenkonfiguration für Ihre Umgebung anpassen können.

Sie müssen einige Teile der folgenden Agentenkonfiguration für Ihre Umgebung anpassen:

Wenn Sie beispielsweise zwei Kafka-Cluster in demselben Konto ausführen, eine für die order-processing-Anwendung und eine weitere für die inventory-management-Anwendung, sollten Sie die ClusterName und ProcessGroupName-Dimensionen in der Agentenkonfiguration jeder Broker-Instance entsprechend festlegen.

Wenn Sie die oben genannten Dimensionen korrekt festgelegt haben, gruppiert das Lösungs-Dashboard die Metriken automatisch auf der Grundlage der Dimensionen ClusterName, ProducerGroupName und ConsumerGroupName. Das Dashboard umfasst Drop-down-Optionen, mit denen Sie Metriken für bestimmte Cluster und Gruppen auswählen und aufrufen können, sodass sich die Leistung einzelner Cluster und Gruppen separat überwachen lässt.

Stellen Sie sicher, dass Sie die entsprechende Agentenkonfiguration auf den richtigen Instanzen bereitstellen. EC2 Jede Konfiguration wird als separater Parameter im Parameterspeicher von SSM gespeichert, wie weiter unten in Schritt 2: Speichern Sie die empfohlene CloudWatch Agentenkonfigurationsdatei im Systems Manager Parameter Store beschrieben.

Die folgenden Anweisungen beschreiben die Situation, in der die Rollen Producer, Consumer und Broker auf separaten EC2 Instanzen bereitgestellt werden, ohne dass es zu Überschneidungen kommt. Wenn Sie mehrere Kafka-Rollen auf denselben EC2 Instanzen ausführen, finden Sie Konfigurieren Sie den Agenten für mehrere Kafka-Rollen auf derselben Instance weitere Informationen unter.

Agentenkonfiguration für Kafka-Broker-Agenten

Verwenden Sie die folgende CloudWatch Agentenkonfiguration für EC2 Instanzen, in denen Kafka-Broker-Agenten bereitgestellt werden. ClusterNameErsetzen Sie ihn durch den Namen des Clusters, der zur Gruppierung dieser Metriken verwendet werden soll, um eine einheitliche Ansicht zu erhalten. Der Wert, für den Sie angeben, ClusterName wird sowohl als ClusterName Dimension als auch als ProcessGroupName Dimension verwendet. port-numberErsetzen Sie ihn durch den JMX-Port Ihres Kafka-Servers. Wenn JMX mit Kennwortauthentifizierung oder SSL für den Remotezugriff aktiviert wurde, finden Sie je nach Bedarf unter Erfassung von Java Management Extensions (JMX)-Metriken weitere Informationen zur Einrichtung von TLS oder zur Autorisierung.

Die in dieser Konfiguration angezeigten EC2 Metriken (Konfiguration, die außerhalb des JMX-Blocks angezeigt wird) funktionieren nur für Linux- und macOS-Instances. Wenn Sie Windows-Instances nutzen, können Sie diese Metriken in der Konfiguration weglassen. Informationen zu Metriken, die auf Windows-Instances erfasst wurden, finden Sie unter Vom CloudWatch Agenten auf Windows Server-Instanzen gesammelte Metriken.

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka": {
            "measurement": [
              "kafka.request.time.avg",
              "kafka.request.failed",
              "kafka.request.count",
              "kafka.purgatory.size",
              "kafka.partition.under_replicated",
              "kafka.partition.offline",
              "kafka.network.io",
              "kafka.leader.election.rate",
              "kafka.isr.operation.count"
            ]
          },
          "append_dimensions": {
            "ClusterName": "ClusterName"
          }
        },
        {
          "endpoint": "localhost:port-number",
          "jvm": {
            "measurement": [
              "jvm.classes.loaded",
              "jvm.gc.collections.count",
              "jvm.gc.collections.elapsed",
              "jvm.memory.heap.committed",
              "jvm.memory.heap.max",
              "jvm.memory.heap.used",
              "jvm.memory.nonheap.committed",
              "jvm.memory.nonheap.max",
              "jvm.memory.nonheap.used",
              "jvm.threads.count"
            ]
          },
          "append_dimensions": {
            "ProcessGroupName": "ClusterName"
          }
        }
      ],
      "disk": {
        "measurement": [
          "used_percent"
        ]
      },
      "mem": {
        "measurement": [
          "used_percent"
        ]
      },
      "swap": {
        "measurement": [
          "used_percent"
        ]
      },
      "netstat": {
        "measurement": [
          "tcp_established",
          "tcp_time_wait"
        ]
      }
    }
  }
}

Agentenkonfiguration für Kafka-Produzenten

Verwenden Sie die folgende CloudWatch Agentenkonfiguration auf EC2 Amazon-Instances, in denen Kafka-Produzenten eingesetzt werden. ProducerGroupNameErsetzen Sie es durch den Namen der Anwendung oder Gruppe, die Sie verwenden möchten, um Ihre Metriken zu gruppieren, um eine einheitliche Ansicht zu erhalten. port-numberErsetzen Sie es durch den JMX-Port Ihrer Kafka-Producer-Anwendung.

Die Lösung aktiviert keine JVM-Metriken für Kafka-Produzenten, da das Lösungs-Dashboard keine JVM-Metriken im Zusammenhang mit JVM für Produzenten darstellt. Sie können die Agentenkonfiguration so anpassen, dass auch JVM-Metriken ausgegeben werden. JVM-Metriken, die sich auf Produzenten beziehen, werden jedoch im Lösungs-Dashboard nicht dargestellt.

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-producer": {
            "measurement": [
              "kafka.producer.request-rate",
              "kafka.producer.byte-rate",
              "kafka.producer.request-latency-avg",
              "kafka.producer.response-rate",
              "kafka.producer.record-error-rate",
              "kafka.producer.record-send-rate"
            ]
          },
          "append_dimensions": {
            "ProducerGroupName": "ProducerGroupName"
          }
        }
      ]
    }
  }
}

Agentenkonfiguration für Kafka-Verbraucher

Verwenden Sie die folgende CloudWatch Agentenkonfiguration für EC2 Instanzen, auf denen Kafka-Consumer ausgeführt werden. ConsumerGroupNameErsetzen Sie sie durch den Namen der Anwendung oder Gruppe, die zur Gruppierung dieser Metriken verwendet werden soll, um eine einheitliche Ansicht zu erhalten. port-numberErsetzen Sie ihn durch den JMX-Port Ihrer Kafka-Consumer-Anwendung.

Die Lösung aktiviert keine JVM-Metriken für Kafka-Verbraucher, da das Lösungs-Dashboard keine JVM-Metriken im Zusammenhang mit JVM für Verbraucher darstellt. Sie können die Agentenkonfiguration so anpassen, dass auch JVM-Metriken ausgegeben werden. JVM-Metriken, die sich auf Verbraucher beziehen, werden jedoch im Lösungs-Dashboard nicht dargestellt.

{
  "metrics": {
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-consumer": {
            "measurement": [
              "kafka.consumer.fetch-rate",
              "kafka.consumer.total.bytes-consumed-rate",
              "kafka.consumer.records-consumed-rate",
              "kafka.consumer.bytes-consumed-rate",
              "kafka.consumer.records-lag-max"
            ]
          },
          "append_dimensions": {
            "ConsumerGroupName": "ConsumerGroupName"
          }
        }
      ]
    }
  }
}

Bereitstellung des Agenten für Ihre Lösung

Je nach Anwendungsfall gibt es mehrere Ansätze für die Installation des CloudWatch Agenten. Wir empfehlen die Nutzung von Systems Manager für diese Lösung. Es bietet eine Konsolenerfahrung und erleichtert die Verwaltung einer Flotte verwalteter Server innerhalb eines einzigen AWS Kontos. Die Anweisungen in diesem Abschnitt verwenden Systems Manager und sind für den Fall vorgesehen, dass der CloudWatch Agent nicht mit vorhandenen Konfigurationen ausgeführt wird. Sie können überprüfen, ob der CloudWatch Agent ausgeführt wird, indem Sie die Schritte unter befolgenStellen Sie sicher, dass der CloudWatch Agent läuft.

Wenn Sie den CloudWatch Agenten bereits auf den EC2 Hosts ausführen, auf denen der Workload bereitgestellt wird, und die Agentenkonfigurationen verwalten, können Sie die Anweisungen in diesem Abschnitt überspringen und Ihren vorhandenen Bereitstellungsmechanismus verwenden, um die Konfiguration zu aktualisieren. Stellen Sie sicher, dass Sie die Agentenkonfiguration gemäß der Rolle (Broker, Produzent oder Verbraucher) mit Ihrer vorhandenen Agentenkonfiguration zusammenführen und dann diese zusammengeführte Konfiguration bereitstellen. Wenn Sie Systems Manager verwenden, um die Konfiguration für den CloudWatch Agenten zu speichern und zu verwalten, können Sie die Konfiguration mit dem vorhandenen Parameterwert zusammenführen. Weitere Informationen finden Sie unter CloudWatch Agent-Konfigurationsdateien verwalten.

Der Bereitstellungsprozess umfasst die folgenden Schritte:

Sie müssen diese Schritte je nachdem wiederholen, ob Ihr Broker, Producer und Consumer auf derselben EC2 Instance oder auf verschiedenen Instances eingesetzt werden. Wenn beispielsweise der Kafka-Broker, Producer und Consumer auf separaten Instances ohne Überschneidung bereitgestellt werden, müssen Sie diese Schritte dreimal mit den entsprechenden Agentenkonfigurationen für Broker-, Producer- und EC2 Consumer-Instances wiederholen.

Schritt 1: Stellen Sie sicher, dass die EC2 Ziel-Instances über die erforderlichen IAM-Berechtigungen verfügen

Sie müssen Systems Manager die Erlaubnis erteilen, den CloudWatch Agenten zu installieren und zu konfigurieren. Sie müssen dem CloudWatch Agenten auch die Erlaubnis erteilen, Telemetriedaten von Ihrer EC2 Instanz an zu CloudWatch veröffentlichen. Stellen Sie sicher, dass der IAM-Rolle, die der Instance zugewiesen ist, die Amazon IAM-Richtlinien CloudWatchAgentServerPolicyund die Amazon SSMManaged InstanceCore IAM-Richtlinien angehängt sind.

Schritt 2: Speichern Sie die empfohlene CloudWatch Agentenkonfigurationsdatei im Systems Manager Parameter Store

Parameter Store vereinfacht die Installation des CloudWatch Agenten auf einer EC2 Instanz, indem Konfigurationsparameter sicher gespeichert und verwaltet werden, sodass keine hartcodierten Werte erforderlich sind. Das gestaltet den Bereitstellungsprozess sicherer und flexibler und ermöglicht eine zentrale Verwaltung und einfachere Aktualisierungen von Konfigurationen über mehrere Instances hinweg.

Gehen Sie wie folgt vor, um die empfohlene CloudWatch Agent-Konfigurationsdatei als Parameter im Parameter Store zu speichern.

Schritt 3: Installieren Sie den CloudWatch Agenten und wenden Sie die Konfiguration mithilfe einer Vorlage an CloudFormation

Sie können AWS CloudFormation damit den Agenten installieren und ihn so konfigurieren, dass er die CloudWatch Agentenkonfiguration verwendet, die Sie in den vorherigen Schritten erstellt haben.

Wenn Sie die Vorlagendatei zuerst bearbeiten möchten, um sie anzupassen, wählen Sie im Assistenten zum Erstellen von Stacks die Option Eine Vorlagendatei hochladen aus, um die bearbeitete Vorlage hochzuladen. Weitere Informationen finden Sie unter Einen Stack auf der CloudFormation Konsole erstellen. Sie können den folgenden Link verwenden, um die Vorlage herunterzuladen: https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/CloudWatchAgent/CFN/v1.0.0/cw- agent-installation-template -1.0.0.json.

Schritt 4: Stellen Sie sicher, dass das Agenten-Setup richtig konfiguriert ist

Sie können überprüfen, ob der CloudWatch Agent installiert ist, indem Sie die Schritte unter befolgenStellen Sie sicher, dass der CloudWatch Agent läuft. Wenn der CloudWatch Agent nicht installiert ist und nicht ausgeführt wird, stellen Sie sicher, dass Sie alles richtig eingerichtet haben.

Wenn alles korrekt eingerichtet ist, sollten Sie sehen, unter welcher Adresse die Kafka-Metriken veröffentlicht werden. CloudWatch Sie können in der CloudWatch Konsole nachsehen, ob sie veröffentlicht wurden.

Erstellen des Kafka-Lösungs-Dashboards

In diesem Dashboard werden die neu ausgegebenen Metriken sowohl für Kafka als auch für die zugrunde liegende JVM dargestellt. Dieses Dashboard bietet eine Übersicht der wichtigsten Faktoren über den Status Ihrer Kafka-Workload, unabhängig von Produzenten, Brokern und Verbrauchern. In der Ansicht der wichtigsten Faktoren wird das Top-10-pro-Metrik-Widget angezeigt. Auf diese Weise erkennen Sie Ausreißer auf einen Blick.

Das Lösungs-Dashboard zeigt keine EC2 Metriken an. Um EC2 Metriken anzuzeigen, müssen Sie das EC2 automatische Dashboard verwenden, um die EC2 Verkaufsmetriken zu sehen, und das EC2 Konsolen-Dashboard verwenden, um die vom CloudWatch Agenten gesammelten EC2 Metriken zu sehen. Weitere Informationen zu automatischen Dashboards für AWS Dienste finden Sie unter. Anzeigen eines CloudWatch-Dashboards für einen einzelnen AWS-Service

Um das Dashboard zu erstellen, können Sie die folgenden Optionen nutzen.

Wenn Sie die CloudWatch Konsole zum Erstellen eines Dashboards verwenden, können Sie eine Vorschau des Dashboards anzeigen, bevor Sie es erstellen und bezahlen.

Wenn Sie die Vorlagendatei bearbeiten möchten, um sie für beliebige Zwecke anzupassen, können Sie im Assistenten zum Erstellen von Stacks die Option Eine Vorlagendatei hochladen auswählen, um die bearbeitete Vorlage hochzuladen. Weitere Informationen finden Sie unter Einen Stack auf der CloudFormation Konsole erstellen. Sie können diesen Link verwenden, um die Vorlage herunterzuladen: https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/Kafka_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json.

Erste Schritte mit dem Kafka-Dashboard

Hier finden Sie ein paar Aufgaben, die Sie mit dem neuen Kafka-Dashboard ausprobieren können. Mit diesen Aufgaben können Sie prüfen, ob das Dashboard ordnungsgemäß funktioniert, und Sie erhalten praktische Erfahrung mit der Überwachung eines Kafka-Clusters. Wenn Sie diese Optionen ausprobieren, werden Sie sich mit der Navigation im Dashboard und der Interpretation der visualisierten Metriken vertraut machen.

Verwenden der Drop-down-Listen

Das Dashboard bietet oben Drop-down-Listen, mit denen Sie die spezifischen Kafka-Cluster-, Produzenten- und Verbraucher-Gruppen, die Sie überwachen möchten, filtern und auswählen können.

Überprüfen des Cluster-Zustands

Suchen Sie im Abschnitt Cluster-Übersicht nach den Widgets Partitionen unter „repliziert“ und Synchronisierte Replikate. Diese sollten idealerweise Null sein oder eine kleine Zahl haben. Ein großer Wert für eine dieser Metriken könnte auf Probleme mit dem Kafka-Cluster hinweisen, die zu untersuchen sind.

Untersuchen der Broker-Leistung

Suchen Sie im Abschnitt Brokers nach den Widgets Fehlgeschlagene Abrufanforderungen und Fehlgeschlagene Produzentenanforderungen. Diese zeigen die Anzahl der fehlgeschlagenen Anforderungen für Abruf- bzw. Produktionsvorgänge an. Hohe Ausfallraten könnten auf Probleme mit den Brokern oder der Netzwerkverbindung hinweisen, die weitere Untersuchungen erfordern.

Überwachen der Produzentenleistung

Suchen Sie im Abschnitt „Übersicht über die Produzentengruppe“ nach den Widgets „Durchschnittliche Anforderungsrate“, „Durchschnittliche Anforderungslatenz“ und „Durchschnittliche Send/Error Aufzeichnungsrate“. Diese geben dir einen Überblick über das Abschneiden der Produzenten in der ausgewählten Gruppe. Im Bereich Produzenten kannst du dir auch detaillierte Metriken zu bestimmten Produzenten und Themen ansehen.

Überwachen der Verzögerung der Verbraucher

Suchen Sie im Bereich Verbrauchergruppen-Übersicht nach dem Widget Verbraucher-Lag. Das zeigt, wie weit die Verbraucher bei der Verarbeitung von Nachrichten aus den neuesten Offsets in den Partitionen, die sie abonniert haben, im Rückstand sind. Im Idealfall sollte die Verzögerung bei den Verbrauchern niedrig oder gleich Null sein. Eine starke Verzögerung bei den Verbrauchern könnte darauf hindeuten, dass die Verbraucher nicht in der Lage sind, mit der Geschwindigkeit der Datenproduktion Schritt zu halten, was zu Datenverlusten oder Verzögerungen bei der Verarbeitung führen könnte. Im Bereich Verbraucher kannst du dir auch detaillierte Metriken zu bestimmten Verbrauchern und Themen ansehen.

Konfigurieren Sie den Agenten für mehrere Kafka-Rollen auf derselben Instance

Die einzelnen Konfigurationen für Kafka-Rollen, die unter aufgeführt sind, CloudWatch Agentenkonfiguration für diese Lösung gelten nur, wenn die Rollen Producer, Consumer und Broker auf separaten EC2 Instanzen bereitgestellt werden, ohne dass es zu Überschneidungen kommt. Wenn Sie mehrere Kafka-Rollen auf denselben EC2 Amazon-Instances ausführen, haben Sie zwei Möglichkeiten:

Das folgende Beispiel zeigt eine CloudWatch Agentenkonfiguration, bei der die Rollen Producer und Consumer auf einer Instance als Teil desselben JVM-Prozesses ausgeführt werden. In diesem Fall muss die Portnummer sowohl im Produzenten- als auch im Verbraucher-Bereich der folgenden Konfiguration identisch sein. Falls die beiden Rollen stattdessen als Teil verschiedener JVM-Prozesse ausgeführt würden, könnten Sie je nach JMX-Port jedes einzelnen JVM-Prozesses unterschiedliche Portnummern für jede Rolle angeben.

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-producer": {
            "measurement": [
              "kafka.producer.request-rate",
              "kafka.producer.byte-rate",
              "kafka.producer.request-latency-avg",
              "kafka.producer.response-rate",
              "kafka.producer.record-error-rate",
              "kafka.producer.record-send-rate"
            ]
          },
          "append_dimensions": {
            "ProducerGroupName": "ProducerGroupName"
          }
        },
        {
          "endpoint": "localhost:port-number",
          "kafka-consumer": {
            "measurement": [
              "kafka.consumer.fetch-rate",
              "kafka.consumer.total.bytes-consumed-rate",
              "kafka.consumer.records-consumed-rate",
              "kafka.consumer.bytes-consumed-rate",
              "kafka.consumer.records-lag-max"
            ]
          },
          "append_dimensions": {
            "ConsumerGroupName": "ConsumerGroupName"
          }
        }
      ]
    }
  }
}