Scraping di ulteriori origini Prometheus e importazione di tali parametri

L'agente CloudWatch con monitoraggio Prometheus ha bisogno di due configurazioni per lo scraping dei parametri Prometheus. Una è per le configurazioni standard Prometheus come documentato in <scrape_config> nella documentazione di Prometheus. L'altra riguarda la configurazione dell'agente CloudWatch.

Per i cluster Amazon EKS, le configurazioni sono definite in prometheus-eks.yaml (per il tipo di avvio EC2) o prometheus-eks-fargate.yaml (per il tipo di avvio Fargate) come due mappe di configurazione:

Per i cluster Kubernetes in esecuzione su istanze Amazon EC2, le configurazioni sono definite nel file YAML prometheus-k8s.yaml come due mappe di configurazione:

Per recuperare altre origini di parametri Prometheus e importarle in CloudWatch, modifica sia la configurazione di scraping di Prometheus che la configurazione dell'agente CloudWatch, quindi reimplementa l'agente con la configurazione aggiornata.

Requisiti del gruppo di sicurezza VPC

Le regole di ingresso dei gruppi di sicurezza per i carichi di lavoro Prometheus devono aprire le porte Prometheus all'agente CloudWatch per lo scraping dei parametri Prometheus dall'IP privato.

Le regole in uscita del gruppo di sicurezza per l'agente CloudWatch devono consentire all'agente CloudWatch di connettersi alla porta dei carichi di lavoro Prometheus tramite IP privato.

Configurazione di scraping di Prometheus

L'agente CloudWatch supporta le configurazioni di scraping standard di Prometheus come documentato <scrape_config> nella documentazione di Prometheus. È possibile modificare questa sezione per aggiornare le configurazioni già presenti in questo file e aggiungere ulteriori destinazioni di scraping Prometheus. Per impostazione predefinita, il file di configurazione campione contiene le seguenti righe di configurazione globali:

global:
  scrape_interval: 1m
  scrape_timeout: 10s

È inoltre possibile definire valori diversi per queste impostazioni a livello di processo, per ignorare le configurazioni globali.

Attività di scraping di Prometheus

I file YAML dell'agente CloudWatch hanno già alcuni processi di scraping predefiniti configurati. Ad esempio, in prometheus-eks.yaml, i processi di scraping predefiniti sono configurati nelle righe job_name nella sezione scrape_configs. In questo file, la sezione kubernetes-pod-jmx predefinita seguente recupera i parametri di JMX Exporter.

   - job_name: 'kubernetes-pod-jmx'
      sample_limit: 10000
      metrics_path: /metrics
      kubernetes_sd_configs:
      - role: pod
      relabel_configs:
      - source_labels: [__address__]
        action: keep
        regex: '.*:9404$'
      - action: labelmap
        regex: __meta_kubernetes_pod_label_(.+)
      - action: replace
        source_labels:
        - __meta_kubernetes_namespace
        target_label: Namespace
      - source_labels: [__meta_kubernetes_pod_name]
        action: replace
        target_label: pod_name
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_container_name
        target_label: container_name
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_controller_name
        target_label: pod_controller_name
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_controller_kind
        target_label: pod_controller_kind
      - action: replace
        source_labels:
        - __meta_kubernetes_pod_phase
        target_label: pod_phase

Ciascuna di queste destinazioni predefinite viene recuperata e i parametri vengono inviate a CloudWatch negli eventi di log utilizzando Embedded Metric Format. Per ulteriori informazioni, consulta la pagina Incorporamento dei parametri nei log.

Gli eventi di log dei cluster Amazon EKS e Kubernetes sono archiviati nel gruppo di log /aws/containerinsights/cluster_name/prometheus in CloudWatch Logs. Gli eventi di log dei cluster Amazon ECS sono archiviati nel gruppo di log /aws/ecs/containerinsights/cluster_name/prometheus.

Ogni processo di scraping è contenuto in un flusso di log diverso in questo gruppo di log. Ad esempio, il processo di scraping Prometheus kubernetes-pod-appmesh-envoy è definito per App Mesh. Tutte i parametri App Mesh Prometheus da cluster Amazon EKS e Kubernetes vengono inviati al flusso di log denominato /aws/containerinsights/cluster_name>prometheus/kubernetes-pod-appmesh-envoy/.

Per aggiungere una nuova destinazione di scraping, aggiungere una nuova sezione job_name alla sezione scrape_configs del file YAML e riavviare l'agente. Per un esempio di questo processo, vedere Esercitazione per l'aggiunta di nuove destinazioni di scraping di Prometheus: parametri del server API Prometheus.

Configurazione dell'agente CloudWatch per Prometheus

Il file di configurazione dell'agente CloudWatch ha la sezione prometheus in metrics_collected per la configurazione di scraping di Prometheus. Include le opzioni di configurazione seguenti:

Guarda l'esempio metric_declaration che segue.

"metric_declaration": [
  {
     "source_labels":[ "Service", "Namespace"],
     "label_matcher":"(.*node-exporter.*|.*kube-dns.*);kube-system",
     "dimensions":[
        ["Service", "Namespace"]
     ],
     "metric_selectors":[
        "^coredns_dns_request_type_count_total$"
     ]
  }
]

In questo esempio viene configurata una sezione di formato metrica incorporata da inviare come evento di log se sono soddisfatte le seguenti condizioni:

L'evento di log inviato include la seguente sezione evidenziata:

{
   "CloudWatchMetrics":[
      {
         "Metrics":[
            {
               "Name":"coredns_dns_request_type_count_total"
            }
         ],
         "Dimensions":[
            [
               "Namespace",
               "Service"
            ]
         ],
         "Namespace":"ContainerInsights/Prometheus"
      }
   ],
   "Namespace":"kube-system",
   "Service":"kube-dns",
   "coredns_dns_request_type_count_total":2562,
   "eks_amazonaws_com_component":"kube-dns",
   "instance":"192.168.61.254:9153",
   "job":"kubernetes-service-endpoints",
   ...
}

Esercitazione per l'aggiunta di nuove destinazioni di scraping di Prometheus: parametri del server API Prometheus

Kubernetes API Server espone le metriche Prometheus sugli endpoint per impostazione predefinita. L'esempio ufficiale per la configurazione di scraping Kubernetes API Server è disponibile su Github.

La seguente esercitazione mostra come eseguire le seguenti operazioni per iniziare a importare i parametri di Kubernetes API Server in CloudWatch:

Una volta fatto questo, dovresti vedere un nuovo flusso di log chiamato kubernetes-apiservers nel gruppo di log /aws/containerinsights/cluster_name/prometheus. Questo flusso di log deve includere eventi log con una definizione del formato del parametro incorporata come la seguente:

{
   "CloudWatchMetrics":[
      {
         "Metrics":[
            {
               "Name":"apiserver_request_total"
            }
         ],
         "Dimensions":[
            [
               "ClusterName",
               "Service"
            ]
         ],
         "Namespace":"ContainerInsights/Prometheus"
      }
   ],
   "ClusterName":"my-cluster-name",
   "Namespace":"default",
   "Service":"kubernetes",
   "Timestamp":"1592267020339",
   "Version":"0",
   "apiserver_request_count":0,
   "apiserver_request_total":0,
   "code":"0",
   "component":"apiserver",
   "contentType":"application/json",
   "instance":"192.0.2.0:443",
   "job":"kubernetes-apiservers",
   "prom_metric_type":"counter",
   "resource":"pods",
   "scope":"namespace",
   "verb":"WATCH",
   "version":"v1"
}

È possibile visualizzare i parametri nella console CloudWatch nello spazio dei nomi ContainerInsights/Prometheus. È inoltre possibile creare un pannello di controllo CloudWatch per i parametri del server API Prometheus Kubernetes.

(Facoltativo) Creazione di un pannello di controllo per i parametri del server API di Kubernetes

Per visualizzare i parametri del server API Kubernetes nel pannello di controllo, è necessario prima aver completato i passaggi nelle sezioni precedenti per iniziare a raccogliere questi parametri in CloudWatch.