Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

CloudWatch solution : charge de travail de Kafka sur Amazon EC2

Cette solution vous permet de configurer la collecte de out-of-the-box métriques à l'aide d' CloudWatch agents pour les charges de travail Kafka (courtiers, producteurs et consommateurs) exécutées sur EC2 des instances. En outre, il vous aide à configurer un tableau de CloudWatch bord préconfiguré. Pour des informations générales sur toutes les solutions CloudWatch d'observabilité, consultezCloudWatch solutions d'observabilité.

Prérequis

Cette solution est pertinente pour les conditions suivantes :

Avantages

La solution assure la surveillance des serveurs Kafka et fournit des informations précieuses pour les cas d’utilisation suivants :

Vous trouverez ci-dessous les principaux avantages de la solution :

L’image suivante est un exemple de tableau de bord pour cette solution.

Coûts

Cette solution crée et utilise des ressources dans votre compte. Les coûts d’utilisation standard vous sont facturés, y compris les éléments suivants :

Pour plus d'informations sur CloudWatch les tarifs, consultez Amazon CloudWatch Pricing.

Le calculateur de prix peut vous aider à estimer les coûts mensuels approximatifs de l’utilisation de cette solution.

CloudWatch configuration de l'agent pour cette solution

L' CloudWatch agent est un logiciel qui s'exécute de manière continue et autonome sur vos serveurs et dans des environnements conteneurisés. Il collecte des métriques, des journaux et des traces à partir de votre infrastructure et de vos applications et les envoie à CloudWatch X-Ray.

Pour plus d'informations sur l' CloudWatch agent, consultezCollectez des métriques, des journaux et des traces à l'aide de l' CloudWatchagent.

La configuration de l'agent dans cette solution collecte les métriques de base pour Kafka, JVM et. EC2 L' CloudWatch agent peut être configuré pour collecter plus de métriques Kafka et JVM que ce que le tableau de bord affiche par défaut. Pour une liste de toutes les métriques Kafka que vous pouvez collecter, consultez Collecte des métriques Kafka. Pour obtenir une liste de toutes les métriques JVM que vous pouvez collecter, consultez Collecte des métriques JVM. Pour obtenir la liste des EC2 indicateurs, consultezMétriques collectées par l' CloudWatchagent sur les instances Linux et macOS.

Exposer les ports JMX pour les rôles d’agent Kafka, de producteur et de consommateur

L' CloudWatch agent s'appuie sur JMX pour collecter les métriques relatives aux courtiers, producteurs et consommateurs de Kafka. Pour ce faire, vous devez exposer le port JMX sur vos serveurs et applications.

Pour les agents Kafka, vous devez utiliser la variable d’environnement JMX_PORT pour définir le port. Vous devrez redémarrer les agents après avoir défini cette variable d’environnement. Examinez les scripts de démarrage et les fichiers de configuration de votre application pour trouver le meilleur endroit où ajouter ces arguments.

Par exemple, pour les systèmes Linux et macOS, vous pouvez utiliser la commande suivante pour définir le port JMX. Veillez à spécifier un numéro de port inutilisé.

export JMX_PORT=port-number

Pour les producteurs et les consommateurs Kafka, les instructions relatives à l’exposition du port JMX dépendent du type de charge de travail que vous utilisez pour votre application JVM productrice ou consommatrice. Consultez la documentation de votre application pour trouver ces instructions.

En général, pour activer un port JMX à des fins de surveillance et de gestion, vous devez définir les propriétés système suivantes pour votre application JVM. L’exemple suivant configure JMX sans authentification. Si votre sécurité policies/requirements exige que vous activiez JMX avec authentification par mot de passe ou SSL pour l'accès à distance, reportez-vous à la documentation JMX pour définir la propriété requise.

-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.port=port-number
-Dcom.sun.management.jmxremote.authenticate=false 
-Dcom.sun.management.jmxremote.ssl=false

Pour vérifier le port JMX, exécutez ps aux | grep jmxremote.port. Les résultats doivent montrer que le port JMX a été défini sur les processus JVM.

Configuration de l’agent pour cette solution

Les métriques collectées par l’agent sont définies dans la configuration de l’agent. La solution fournit des configurations d’agent pour collecter les métriques recommandées avec des dimensions appropriées pour le tableau de bord de la solution. Chaque rôle Kafka, tel que courtier, producteur ou consommateur, possède sa propre configuration d'agent qui permet de collecter les métriques Kafka ainsi que la JVM et les métriques sous-jacentes. EC2

Les étapes du déploiement de la solution sont décrites plus loin dans Déployer l’agent pour votre solution. Les informations suivantes ont pour but de vous aider à comprendre comment personnaliser la configuration de l’agent en fonction de votre environnement.

Vous devez adapter certaines parties de la configuration de l’agent à votre environnement :

Par exemple, si vous avez deux clusters Kafka fonctionnant dans le même compte, l’un pour l’application order-processing et l’autre pour l’application inventory-management, vous devez définir les dimensions ClusterName et ProcessGroupName en conséquence dans la configuration de l’agent de l’instance de l’agent.

Lorsque vous aurez correctement défini les dimensions ci-dessus, le tableau de bord de la solution regroupera automatiquement les métriques en fonction des dimensions ClusterName, ProducerGroupName et ConsumerGroupName. Le tableau de bord comprendra des options déroulantes permettant de sélectionner et d’afficher les métriques pour des clusters et des groupes spécifiques, ce qui vous permettra de surveiller séparément les performances de chaque cluster et de chaque groupe.

Assurez-vous de déployer la configuration d'agent appropriée sur les EC2 instances appropriées. Chaque configuration sera stockée en tant que paramètre distinct dans le magasin de paramètres de SSM, comme détaillé plus loin dans Étape 2 : enregistrer le fichier de configuration d' CloudWatch agent recommandé dans le magasin de paramètres de Systems Manager.

Les instructions suivantes décrivent la situation dans laquelle les rôles de producteur, de consommateur et de courtier sont déployés sur des EC2 instances distinctes, sans aucun chevauchement. Si vous exécutez plusieurs rôles Kafka sur les mêmes EC2 instances, consultez Configurer l’agent pour plusieurs rôles Kafka sur la même instance pour plus d'informations.

Configuration des agents pour les agents de broker Kafka

Utilisez la configuration d' CloudWatch agent suivante sur les EC2 instances où les agents Kafka Broker sont déployés. ClusterNameRemplacez-le par le nom du cluster à utiliser pour regrouper ces métriques afin d'obtenir une vue unifiée. La valeur que vous spécifiez ClusterName est utilisée à la fois comme ClusterName dimension et comme ProcessGroupName dimension. port-numberRemplacez-le par le port JMX de votre serveur Kafka. Si JMX a été activé avec une authentification par mot de passe ou SSL pour l’accès à distance, consultez Collecte des métriques Java Management Extensions (JMX) pour obtenir des informations sur la configuration de TLS ou de l’autorisation, le cas échéant.

Les EC2 métriques affichées dans cette configuration (configuration affichée en dehors du bloc JMX) ne fonctionnent que pour les instances Linux et macOS. Si vous utilisez des instances Windows, vous pouvez choisir d’omettre ces métriques dans la configuration. Pour plus d’informations sur les métriques collectées sur les instances Windows, consultez Mesures collectées par l' CloudWatchagent sur les instances Windows Server.

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka": {
            "measurement": [
              "kafka.request.time.avg",
              "kafka.request.failed",
              "kafka.request.count",
              "kafka.purgatory.size",
              "kafka.partition.under_replicated",
              "kafka.partition.offline",
              "kafka.network.io",
              "kafka.leader.election.rate",
              "kafka.isr.operation.count"
            ]
          },
          "append_dimensions": {
            "ClusterName": "ClusterName"
          }
        },
        {
          "endpoint": "localhost:port-number",
          "jvm": {
            "measurement": [
              "jvm.classes.loaded",
              "jvm.gc.collections.count",
              "jvm.gc.collections.elapsed",
              "jvm.memory.heap.committed",
              "jvm.memory.heap.max",
              "jvm.memory.heap.used",
              "jvm.memory.nonheap.committed",
              "jvm.memory.nonheap.max",
              "jvm.memory.nonheap.used",
              "jvm.threads.count"
            ]
          },
          "append_dimensions": {
            "ProcessGroupName": "ClusterName"
          }
        }
      ],
      "disk": {
        "measurement": [
          "used_percent"
        ]
      },
      "mem": {
        "measurement": [
          "used_percent"
        ]
      },
      "swap": {
        "measurement": [
          "used_percent"
        ]
      },
      "netstat": {
        "measurement": [
          "tcp_established",
          "tcp_time_wait"
        ]
      }
    }
  }
}

Configuration de l’agent pour les producteurs Kafka

Utilisez la configuration d' CloudWatch agent suivante sur les EC2 instances Amazon sur lesquelles les producteurs Kafka sont déployés. Remplacez-le ProducerGroupName par le nom de l'application ou du groupe que vous souhaitez utiliser pour regrouper vos métriques afin d'obtenir une vue unifiée. port-numberRemplacez-le par le port JMX de votre application de production Kafka.

La solution n’active pas les métriques JVM pour les producteurs Kafka car le tableau de bord de la solution n’affiche pas les métriques liées à la JVM pour les producteurs. Vous pouvez personnaliser la configuration de l’agent pour émettre également des métriques JVM, cependant, les métriques JVM liées aux producteurs ne sont pas visibles sur le tableau de bord de la solution.

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-producer": {
            "measurement": [
              "kafka.producer.request-rate",
              "kafka.producer.byte-rate",
              "kafka.producer.request-latency-avg",
              "kafka.producer.response-rate",
              "kafka.producer.record-error-rate",
              "kafka.producer.record-send-rate"
            ]
          },
          "append_dimensions": {
            "ProducerGroupName": "ProducerGroupName"
          }
        }
      ]
    }
  }
}

Configuration de l’agent pour les consommateurs Kafka

Utilisez la configuration d' CloudWatch agent suivante sur les EC2 instances où les clients Kafka s'exécutent. ConsumerGroupNameRemplacez-le par le nom de l'application ou du groupe à utiliser pour regrouper ces mesures afin d'obtenir une vue unifiée. port-numberRemplacez-le par le port JMX de votre application Kafka destinée aux consommateurs.

La solution n’active pas les métriques JVM pour les consommateurs Kafka car le tableau de bord de la solution n’affiche pas les métriques liées à la JVM pour les consommateurs. Vous pouvez personnaliser la configuration de l’agent pour émettre également des métriques JVM, mais les métriques JVM liées au consommateur ne sont pas visibles sur le tableau de bord de la solution.

{
  "metrics": {
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-consumer": {
            "measurement": [
              "kafka.consumer.fetch-rate",
              "kafka.consumer.total.bytes-consumed-rate",
              "kafka.consumer.records-consumed-rate",
              "kafka.consumer.bytes-consumed-rate",
              "kafka.consumer.records-lag-max"
            ]
          },
          "append_dimensions": {
            "ConsumerGroupName": "ConsumerGroupName"
          }
        }
      ]
    }
  }
}

Déployer l’agent pour votre solution

Il existe plusieurs approches pour installer l' CloudWatch agent, selon le cas d'utilisation. Nous vous recommandons d’utiliser Systems Manager pour cette solution. Il fournit une expérience de console et simplifie la gestion d'un parc de serveurs gérés au sein d'un seul AWS compte. Les instructions de cette section utilisent Systems Manager et sont destinées aux situations où l' CloudWatch agent n'est pas exécuté avec des configurations existantes. Vous pouvez vérifier si l' CloudWatch agent est en cours d'exécution en suivant les étapes décrites dansVérifiez que l' CloudWatch agent est en cours d'exécution.

Si vous exécutez déjà l' CloudWatch agent sur les EC2 hôtes sur lesquels la charge de travail est déployée et que vous gérez les configurations de l'agent, vous pouvez ignorer les instructions de cette section et suivre votre mécanisme de déploiement existant pour mettre à jour la configuration. Veillez à fusionner la configuration de l’agent en fonction du rôle (agent, producteur ou consommateur) avec votre configuration d’agent existante, puis déployez la configuration fusionnée. Si vous utilisez Systems Manager pour stocker et gérer la configuration de l' CloudWatch agent, vous pouvez fusionner la configuration avec la valeur de paramètre existante. Pour plus d'informations, consultez la section Gestion des fichiers de configuration des CloudWatch agents.

Le processus de déploiement comprend les étapes suivantes :

Vous devez répéter ces étapes selon que votre courtier, votre producteur et votre consommateur sont déployés sur la même EC2 instance ou sur des instances différentes. Par exemple, si le courtier, le producteur et les consommateurs Kafka sont déployés sur des instances distinctes sans chevauchement, vous devez répéter ces étapes trois fois avec les configurations d'agent appropriées pour les EC2 instances du courtier, du producteur et du consommateur.

Étape 1 : Assurez-vous que les EC2 instances cibles disposent des autorisations IAM requises

Vous devez autoriser Systems Manager à installer et configurer l' CloudWatch agent. Vous devez également autoriser l' CloudWatch agent à publier des données télémétriques depuis votre EC2 instance vers. CloudWatch Assurez-vous que le rôle IAM associé à l'instance est associé aux politiques Amazon SSMManaged InstanceCore IAM CloudWatchAgentServerPolicyet Amazon.

Étape 2 : enregistrer le fichier de configuration d' CloudWatch agent recommandé dans le magasin de paramètres de Systems Manager

Parameter Store simplifie l'installation de l' CloudWatch agent sur une EC2 instance en stockant et en gérant de manière sécurisée les paramètres de configuration, éliminant ainsi le besoin de valeurs codées en dur. Cela garantit un processus de déploiement plus sûr et plus flexible, permettant une gestion centralisée et des mises à jour plus faciles des configurations sur plusieurs instances.

Procédez comme suit pour enregistrer le fichier de configuration d' CloudWatch agent recommandé en tant que paramètre dans Parameter Store.

Étape 3 : Installation de l' CloudWatch agent et application de la configuration à l'aide d'un CloudFormation modèle

Vous pouvez l'utiliser AWS CloudFormation pour installer l'agent et le configurer de manière à utiliser la configuration d' CloudWatch agent que vous avez créée lors des étapes précédentes.

Si vous voulez d’abord modifier le fichier modèle pour le personnaliser, choisissez l’option Charger un fichier modèle sous Assistant de création de pile pour charger le modèle modifié. Pour plus d'informations, consultez Création d'une pile sur CloudFormation console. Vous pouvez utiliser le lien suivant pour télécharger le modèle : https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/CloudWatchAgent/CFN/v1.0.0/cw- agent-installation-template -1.0.0.json.

Étape 4 : vérifiez que la configuration de l’agent est correcte

Vous pouvez vérifier si l' CloudWatch agent est installé en suivant les étapes décrites dansVérifiez que l' CloudWatch agent est en cours d'exécution. Si l' CloudWatch agent n'est pas installé et n'est pas en cours d'exécution, assurez-vous que tout est correctement configuré.

Si tout est correctement configuré, vous devriez voir les métriques de Kafka publiées sur CloudWatch. Vous pouvez consulter la CloudWatch console pour vérifier qu'ils sont publiés.

Créer le tableau de bord de la solution Kafka

Ce tableau de bord affiche les métriques nouvellement émises à la fois pour Kafka et pour la JVM sous-jacente. Ce tableau de bord fournit une vue des principaux contributeurs pour l’état de votre charge de travail Kafka, parmi les producteurs, les agents et les consommateurs. La vue des principaux contributeurs affiche les 10 premiers par widget de métrique. Cela vous permet d’identifier les valeurs aberrantes en un coup d’œil.

Le tableau de bord de la solution n'affiche pas de EC2 statistiques. Pour consulter EC2 les métriques, vous devez utiliser le tableau de bord EC2 automatique pour voir les EC2 métriques vendues et utiliser le tableau de bord de la EC2 console pour voir les EC2 métriques collectées par l' CloudWatch agent. Pour plus d'informations sur les tableaux de bord automatiques pour les AWS services, consultezAffichage d’un tableau de bord CloudWatch pour un seul service AWS.

Pour créer le tableau de bord, vous pouvez utiliser les options suivantes :

En utilisant la CloudWatch console pour créer un tableau de bord, vous pouvez prévisualiser le tableau de bord avant de le créer et de le débiter.

Si vous voulez modifier le fichier modèle pour l’adapter à vos besoins, vous pouvez utiliser l’option Charger un fichier modèle sous Assistant de création de pile pour charger le modèle modifié. Pour plus d'informations, consultez Création d'une pile sur CloudFormation console. Vous pouvez utiliser ce lien pour télécharger le modèle : https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/Kafka_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json.

Démarrer avec le tableau de bord Kafka

Voici quelques tâches que vous pouvez essayer avec le nouveau tableau de bord Kafka. Ces tâches vous permettent de valider que le tableau de bord fonctionne correctement et vous offrent une certaine expérience pratique en l’utilisant pour surveiller un cluster Kafka. Au fur et à mesure de vos essais, vous vous familiariserez avec la navigation dans le tableau de bord et l’interprétation des métriques visualisées.

Utilisation des listes déroulantes

Le tableau de bord fournit des listes déroulantes en haut que vous pouvez utiliser pour filtrer et sélectionner le cluster Kafka spécifique, le producteur et les groupes de consommateurs que vous voulez surveiller.

Vérifier l’état du cluster

Dans la section Vue d’ensemble du cluster, trouvez les widgets Partitions sous-répliquées et Répliques synchronisées. Dans l’idéal, ces valeurs devraient être égales à zéro ou à un petit nombre. Une valeur élevée pour l’une de ces métriques pourrait indiquer des problèmes avec le cluster Kafka qui doivent être examinés.

Examiner les performances des agents

Dans la section Agents, trouvez les widgets Requêtes de récupération échouées et Requêtes de producteur échouées. Ceux-ci indiquent le nombre de requêtes ayant échoué pour les opérations de récupération (fetch) et de production (produce), respectivement. Des taux d’échec élevés peuvent indiquer des problèmes avec les agents ou la connectivité réseau qui nécessitent une enquête plus approfondie.

Surveiller les performances des producteurs

Dans la section Présentation du groupe de producteurs, recherchez les widgets Taux de demande moyen, Latence moyenne des demandes et Send/Error Taux d'enregistrement moyen. Ils vous donneront un aperçu des performances des producteurs du groupe sélectionné. Vous pouvez également effectuer une analyse approfondie pour afficher les métriques de producteurs et de rubriques spécifiques dans la section Producteurs.

Surveiller le retard des consommateurs

Dans la section Vue d’ensemble du groupe de consommateurs, vous trouverez le widget Retard des consommateurs. Il indique le retard pris par les consommateurs dans le traitement des messages provenant des derniers décalages dans les partitions auxquelles ils sont abonnés. Idéalement, le retard des consommateurs devrait être faible ou nul. Un retard élevé peut indiquer que les consommateurs ne sont pas en mesure de suivre le rythme de production des données, ce qui peut entraîner des pertes de données ou des retards de traitement. Vous pouvez également effectuer une analyse descendante pour afficher les métriques pour des consommateurs et des rubriques spécifiques dans la section Consommateurs.

Configurer l’agent pour plusieurs rôles Kafka sur la même instance

Les configurations individuelles des rôles Kafka répertoriées dans ne CloudWatch configuration de l'agent pour cette solution s'appliquent que lorsque les rôles de producteur, de consommateur et de courtier sont déployés sur des EC2 instances distinctes, sans aucun chevauchement. Si vous exécutez plusieurs rôles Kafka sur les mêmes EC2 instances Amazon, deux options s'offrent à vous :

L'exemple suivant montre une configuration d' CloudWatch agent dans laquelle les rôles producteur et consommateur sont exécutés sur une instance dans le cadre du même processus JVM. Dans ce cas, le numéro de port doit être le même dans les parties producteur et consommateur de la configuration ci-dessous. Si au contraire les deux rôles s’exécutent dans le cadre de processus JVM différents, vous pouvez spécifier des numéros de port différents pour chacun, en fonction du port JMX de chaque processus JVM individuel.

{
  "metrics": {
    "namespace": "CWAgent",
    "append_dimensions": {
      "InstanceId": "${aws:InstanceId}"
    },
    "metrics_collected": {
      "jmx": [
        {
          "endpoint": "localhost:port-number",
          "kafka-producer": {
            "measurement": [
              "kafka.producer.request-rate",
              "kafka.producer.byte-rate",
              "kafka.producer.request-latency-avg",
              "kafka.producer.response-rate",
              "kafka.producer.record-error-rate",
              "kafka.producer.record-send-rate"
            ]
          },
          "append_dimensions": {
            "ProducerGroupName": "ProducerGroupName"
          }
        },
        {
          "endpoint": "localhost:port-number",
          "kafka-consumer": {
            "measurement": [
              "kafka.consumer.fetch-rate",
              "kafka.consumer.total.bytes-consumed-rate",
              "kafka.consumer.records-consumed-rate",
              "kafka.consumer.bytes-consumed-rate",
              "kafka.consumer.records-lag-max"
            ]
          },
          "append_dimensions": {
            "ConsumerGroupName": "ConsumerGroupName"
          }
        }
      ]
    }
  }
}