Récupération de sources Prometheus supplémentaires et importation de ces métriques

L'agent CloudWatch avec surveillance Prometheus a besoin de deux configurations pour récupérer les métriques Prometheus. L'une concerne les configurations standard Prometheus, comme décrit dans <scrape_config> dans la documentation Prometheus. L'autre concerne la configuration d'agent CloudWatch.

Pour les clusters Amazon EKS, les configurations sont définies dans prometheus-eks.yaml (pour le type de lancement EC2) ouprometheus-eks-fargate.yaml (pour le type de lancement Fargate) sous la forme de deux cartes de configuration :

Pour les clusters Kubernetes s'exécutant sur des instances Amazon EC2, les configurations sont définies dans le fichier YAML prometheus-k8s.yaml sous la forme de deux cartes de configuration :

Pour récupérer des sources de métriques Prometheus supplémentaires et les importer dans CloudWatch, vous devez modifier à la fois la configuration de récupération Prometheus et la configuration de l'agent CloudWatch, puis redéployer l'agent avec la configuration mise à jour.

Exigences de groupe de sécurité VPC

Les règles d'entrée des groupes de sécurité pour les applications Prometheus doivent ouvrir les ports Prometheus à l'agent CloudWatch pour que les métriques Prometheus soient récupérées par l'adresse IP privée.

Les règles de sortie du groupe de sécurité de l'agent CloudWatch doivent lui permettre de se connecter au port des applications Prometheus par IP privée.

Configuration de récupération Prometheus

L'agent CloudWatch prend en charge les configurations de récupération Prometheus standard comme décrit dans <scrape_config> dans la documentation Prometheus. Vous pouvez modifier cette section pour mettre à jour les configurations déjà présentes dans ce fichier et ajouter des cibles de récupération Prometheus supplémentaires. Par défaut, l'exemple de fichier de configuration contient les lignes de configuration globale suivantes :

global:
  scrape_interval: 1m
  scrape_timeout: 10s

Vous pouvez également définir différentes valeurs pour ces paramètres au niveau de la tâche, afin de remplacer les configurations globales.

Tâches de récupération Prometheus

Les fichiers YAML de l'agent CloudWatch contiennent déjà des tâches de récupération par défaut configurées. Par exemple, dans prometheus-eks.yaml, les tâches de récupération par défaut sont configurées dans les lignes job_name de la section scrape_configs. Dans ce fichier, la section kubernetes-pod-jmx par défaut suivante recoupe les métriques de JMX Exporter.

   - job_name: 'kubernetes-pod-jmx'
      sample_limit: 10000
      metrics_path: /metrics
      kubernetes_sd_configs:
      - role: pod
      relabel_configs:
      - source_labels: [__address__]
        action: keep
        regex: '.*:9404$'
      - action: labelmap
        regex: __meta_kubernetes_pod_label_(.+)
      - action: replace
        source_labels:
        - __meta_kubernetes_namespace
        target_label: Namespace
      - source_labels: [__meta_kubernetes_pod_name]
        action: replace
        target_label: pod_name
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_container_name
        target_label: container_name
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_controller_name
        target_label: pod_controller_name
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_controller_kind
        target_label: pod_controller_kind
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_phase
        target_label: pod_phase

Chacune de ces cibles par défaut est récupérée et les métriques sont envoyées à CloudWatch dans des évènements de journaux à l'aide du format de métrique intégré. Pour plus d'informations, consultez . Intégration de métriques dans les journaux.

Les évènements de journaux des clusters Amazon EKS et Kubernetes sont stockés dans le groupe de journaux /aws/ecs/containerinsights/cluster_name/prometheus dans CloudWatch Logs. Les évènements de journaux des clusters Amazon ECS sont stockés dans le groupe de journaux /aws/ecs/containerinsights/cluster_name/prometheus.

Chaque tâche de récupération est contenue dans un flux de journaux différent au sein de ce groupe de journaux. Par exemple, la tâche de récupération Prometheus kubernetes-pod-appmesh-envoy est définie pour App Mesh. Toutes les métrique Prometheus App Mesh des clusters Amazon EKS et Kubernetes sont ainsi envoyées au flux de journaux appelé /aws/containerinsights/cluster_name>prometheus/kubernetes-pod-appmesh-envoy/.

Pour ajouter une nouvelle cible de récupération, vous ajoutez une nouvelle section job_name à la section scrape_configs du fichier YAML et redémarrez l'agent. Pour un exemple de ce processus, consultez Didacticiel pour l'ajout d'une nouvelle cible de récupération Prometheus : métrique du serveur d'API Prometheus.

Configuration de l'agent CloudWatch pour Prometheus

Le fichier de configuration d'agent CloudWatch comporte une section prometheus sous metrics_collected pour la configuration de récupération Prometheus. Elle inclut les options de configuration suivantes :

Consultez l'exemple metric_declaration suivant.

"metric_declaration": [
  {
     "source_labels":[ "Service", "Namespace"],
     "label_matcher":"(.*node-exporter.*|.*kube-dns.*);kube-system",
     "dimensions":[
        ["Service", "Namespace"]
     ],
     "metric_selectors":[
        "^coredns_dns_request_type_count_total$"
     ]
  }
]

Cet exemple montre comment configurer une section de format de métrique intégrée à envoyer en tant qu'événement de journaux si les conditions suivantes sont remplies :

L'événement de journal envoyé inclut la section en surbrillance suivante :

{
   "CloudWatchMetrics":[
      {
         "Metrics":[
            {
               "Name":"coredns_dns_request_type_count_total"
            }
         ],
         "Dimensions":[
            [
               "Namespace",
               "Service"
            ]
         ],
         "Namespace":"ContainerInsights/Prometheus"
      }
   ],
   "Namespace":"kube-system",
   "Service":"kube-dns",
   "coredns_dns_request_type_count_total":2562,
   "eks_amazonaws_com_component":"kube-dns",
   "instance":"192.168.61.254:9153",
   "job":"kubernetes-service-endpoints",
   ...
}

Didacticiel pour l'ajout d'une nouvelle cible de récupération Prometheus : métrique du serveur d'API Prometheus

Le serveur d'API Kubernetes expose les métriques Prometheus sur les points de terminaison par défaut. L'exemple officiel de la configuration de récupération du serveur d'API Kubernetes est disponible sur Github.

Le didacticiel suivant montre comment effectuer les étapes suivantes pour commencer à importer des métriques du serveur d'API Kubernetes dans CloudWatch :

Ensuite, vous devriez voir un nouveau flux de journaux nommé kubernetes-apiservers dans le groupe de journaux /aws/containerinsights/cluster_name/prometheus. Ce flux de journal doit inclure les événements de journaux avec une définition intégrée du format de métrique comme suit :

{
   "CloudWatchMetrics":[
      {
         "Metrics":[
            {
               "Name":"apiserver_request_total"
            }
         ],
         "Dimensions":[
            [
               "ClusterName",
               "Service"
            ]
         ],
         "Namespace":"ContainerInsights/Prometheus"
      }
   ],
   "ClusterName":"my-cluster-name",
   "Namespace":"default",
   "Service":"kubernetes",
   "Timestamp":"1592267020339",
   "Version":"0",
   "apiserver_request_count":0,
   "apiserver_request_total":0,
   "code":"0",
   "component":"apiserver",
   "contentType":"application/json",
   "instance":"192.0.2.0:443",
   "job":"kubernetes-apiservers",
   "prom_metric_type":"counter",
   "resource":"pods",
   "scope":"namespace",
   "verb":"WATCH",
   "version":"v1"
}

Vous pouvez afficher vos métriques dans la console CloudWatch dans l'espace de nom ContainerInsights/Prometheus. En option, vous pouvez également créer un tableau de bord CloudWatch pour vos métriques de serveur d'API Kubernetes Prometheus.

(En option) Création d'un tableau de bord pour les métriques du serveur d'API Kubernetes.

Pour afficher les métriques du serveur d'API Kubernetes dans votre tableau de bord, vous devez d'abord avoir effectué les étapes décrites dans les sections précédentes pour commencer à collecter ces métriques dans CloudWatch.