Scraping zusätzlicher Prometheus-Quellen und Importieren dieser Metriken

Der CloudWatch-Agent mit Prometheus-Überwachung benötigt zwei Konfigurationen, um die Prometheus-Metriken abzurufen. Er folgt der standardmäßigen Prometheus-Konfiguration, wie in <scrape_config> in der Prometheus-Dokumentation erläutert. Die andere bezieht sich auf die CloudWatch-Agent-Konfiguration.

Für Amazon-EKS-Cluster sind die Konfigurationen in prometheus-eks.yaml (für den Starttyp EC2) oder prometheus-eks-fargate.yaml (für den Starttyp Fargate) als zwei Konfigurationszuordnungen definiert:

Für Kubernetes-Cluster, die auf Amazon-EC2-Instances ausgeführt werden, sind die Konfigurationen in der prometheus-k8s.yaml YAML-Datei als zwei Konfigurationszuordnungen definiert:

Um das Erfassen weiterer Prometheus-Metrikquellen durchzuführen und diese Metriken in CloudWatch zu importieren, ändern Sie sowohl die Prometheus-Scrape-Konfiguration als auch die CloudWatch-Agentkonfiguration. Anschließend stellen Sie den Agenten mit der aktualisierten Konfiguration wieder bereit.

Anforderungen an VPC-Sicherheitsgruppen

Die Eingangsregeln der Sicherheitsgruppen für die Prometheus-Workloads müssen die Prometheus-Ports für den CloudWatch-Agent öffnen, um die Prometheus-Metriken nach der privaten IP zu scrapen.

Die Ausstiegsregeln der Sicherheitsgruppe für den CloudWatch-Agent müssen es dem CloudWatch-Agenten ermöglichen, über private IP eine Verbindung zum Prometheus-Workload-Port herzustellen.

Prometheus-Scrape-Konfiguration

Der CloudWatch-Agent unterstützt die standardmäßigen Scrape-Konfigurationen von Prometheus, wie in <scrape_config> in der Prometheus-Dokumentation dokumentiert. Sie können diesen Abschnitt bearbeiten, um die Konfigurationen zu aktualisieren, die sich bereits in dieser Datei befinden, und zusätzliche Prometheus-Scraping-Ziele hinzufügen. Standardmäßig enthält die Beispielkonfigurationsdatei die folgenden globalen Konfigurationszeilen:

global:
  scrape_interval: 1m
  scrape_timeout: 10s

Sie können auch verschiedene Werte für diese Einstellungen auf Auftragsebene definieren, um die globalen Konfigurationen zu überschreiben.

Prometheus-Scraping-Aufträge

Für die CloudWatch-Agent-YAML-Dateien sind bereits einige Standard-Scraping-Aufträge konfiguriert. In prometheus-eks.yaml werden beispielsweise die Standard-Scraping-Aufträge in den job_name-Zeilen im Abschnitt scrape_configs konfiguriert. In dieser Datei kratzt der folgende Standard-kubernetes-pod-jmx-Abschnitt JMX-Exporter-Metriken.

   - job_name: 'kubernetes-pod-jmx'
      sample_limit: 10000
      metrics_path: /metrics
      kubernetes_sd_configs:
      - role: pod
      relabel_configs:
      - source_labels: [__address__]
        action: keep
        regex: '.*:9404$'
      - action: labelmap
        regex: __meta_kubernetes_pod_label_(.+)
      - action: replace
        source_labels:
        - __meta_kubernetes_namespace
        target_label: Namespace
      - source_labels: [__meta_kubernetes_pod_name]
        action: replace
        target_label: pod_name
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_container_name
        target_label: container_name
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_controller_name
        target_label: pod_controller_name
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_controller_kind
        target_label: pod_controller_kind
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_phase
        target_label: pod_phase

Bei jedem dieser Standardziele wird Scraping eingesetzt, und die Metriken werden in Protokollereignissen im eingebetteten Metrikformat an CloudWatch gesendet. Weitere Informationen finden Sie unter Einbetten von Metriken in Protokollen.

Protokollereignisse von Amazon-EKS- und Kubernetes-Clustern werden in der Protokollgruppe /aws/containerinsights/cluster_name/prometheus in CloudWatch Logs gespeichert. Protokollereignisse von Amazon-ECS-Clustern werden in der Protokollgruppe /aws/ecs/containerinsights/cluster_name/prometheus gespeichert.

Jeder Scraping-Auftrag ist in einem anderen Protokoll-Stream in dieser Protokollgruppe enthalten. Beispielsweise ist der Prometheus-Scraping-Auftrag kubernetes-pod-appmesh-envoy für App Mesh definiert. Alle App-Mesh-Prometheus-Metriken von Amazon-EKS- und Kubernetes-Clustern werden an den Protokollstream namens /aws/containerinsights/cluster_name>prometheus/kubernetes-pod-appmesh-envoy/ gesendet.

Um ein neues Scraping-Ziel hinzuzufügen, fügen Sie dem Abschnitt scrape_configs der YAML-Datei einen neuen job_name-Abschnitt hinzu und starten Sie den Agenten neu. Ein Beispiel für diesen Prozess finden Sie unter Tutorial zum Hinzufügen eines neuen Prometheus-Scrape-Ziels: Prometheus-API-Server-Metriken.

CloudWatch-Agentenkonfiguration für Prometheus

Die Konfigurationsdatei des CloudWatch-Agenten hat einen prometheus-Abschnitt unter metrics_collected für die Prometheus-Scraping-Konfiguration. Es sind folgende Konfigurationsoptionen enthalten:

Sehen Sie sich das folgende metric_declaration-Beispiel an.

"metric_declaration": [
  {
     "source_labels":[ "Service", "Namespace"],
     "label_matcher":"(.*node-exporter.*|.*kube-dns.*);kube-system",
     "dimensions":[
        ["Service", "Namespace"]
     ],
     "metric_selectors":[
        "^coredns_dns_request_type_count_total$"
     ]
  }
]

In diesem Beispiel wird ein eingebetteter Metrikformatabschnitt konfiguriert, der als Protokollereignis gesendet wird, wenn die folgenden Bedingungen erfüllt sind:

Das Protokollereignis, das gesendet wird, enthält den folgenden hervorgehobenen Abschnitt:

{
   "CloudWatchMetrics":[
      {
         "Metrics":[
            {
               "Name":"coredns_dns_request_type_count_total"
            }
         ],
         "Dimensions":[
            [
               "Namespace",
               "Service"
            ]
         ],
         "Namespace":"ContainerInsights/Prometheus"
      }
   ],
   "Namespace":"kube-system",
   "Service":"kube-dns",
   "coredns_dns_request_type_count_total":2562,
   "eks_amazonaws_com_component":"kube-dns",
   "instance":"192.168.61.254:9153",
   "job":"kubernetes-service-endpoints",
   ...
}

Tutorial zum Hinzufügen eines neuen Prometheus-Scrape-Ziels: Prometheus-API-Server-Metriken

Der Kubernetes API Server stellt Prometheus-Metriken standardmäßig auf Endpunkten zur Verfügung. Das offizielle Beispiel für die Kubernetes API Server-Scraping-Konfiguration ist auf Github verfügbar.

Das folgende Tutorial zeigt, wie Sie die folgenden Schritte ausführen, um mit dem Importieren von Kubernetes API Server-Metriken in CloudWatch zu beginnen:

Danach sollten Sie einen neuen Protokoll-Stream namens kubernetes-apiservers in der Protokollgruppe /aws/containerinsights/cluster_name/prometheus sehen. Dieser Protokoll-Stream sollte Protokollereignisse mit einer Definition des eingebetteten Metrikformats wie folgt einschließen:

{
   "CloudWatchMetrics":[
      {
         "Metrics":[
            {
               "Name":"apiserver_request_total"
            }
         ],
         "Dimensions":[
            [
               "ClusterName",
               "Service"
            ]
         ],
         "Namespace":"ContainerInsights/Prometheus"
      }
   ],
   "ClusterName":"my-cluster-name",
   "Namespace":"default",
   "Service":"kubernetes",
   "Timestamp":"1592267020339",
   "Version":"0",
   "apiserver_request_count":0,
   "apiserver_request_total":0,
   "code":"0",
   "component":"apiserver",
   "contentType":"application/json",
   "instance":"192.0.2.0:443",
   "job":"kubernetes-apiservers",
   "prom_metric_type":"counter",
   "resource":"pods",
   "scope":"namespace",
   "verb":"WATCH",
   "version":"v1"
}

Sie können Ihre Metriken in der CloudWatch-Konsole im Namespace ContainerInsights/Prometheus anzeigen. Optional können Sie auch ein CloudWatch-Dashboard für Ihre Prometheus-Kubernetes-API-Server-Metriken erstellen.

(Optional) Erstellen eines Dashboards für die Kubernetes API-Server-Metriken.

Um Metriken vom Kubernetes-API-Server in Ihrem Dashboard anzuzeigen, müssen Sie zuerst die Schritte in den vorherigen Abschnitten ausgeführt haben, damit mit dem Sammeln dieser Metriken in CloudWatch begonnen wird.