Configuración de recopiladores administrados para Amazon EKS

Para utilizar un recopilador de Amazon Managed Service para Prometheus, cree un scraper que detecte y extraiga las métricas del clúster de Amazon EKS. También puede crear un scraper que se integre con Amazon Managed Streaming para Apache Kafka. Para obtener más información, consulte Integración de Amazon MSK.

Un recopilador de Amazon Managed Service para Prometheus recopila métricas que son compatibles con Prometheus. Para obtener más información acerca de las métricas compatibles con Prometheus, consulte ¿Cuáles son las métricas compatibles con Prometheus?. Los clústeres de Amazon EKS exponen las métricas del servidor de API. Los clústeres de Amazon EKS de la versión 1.28 y posteriores de Kubernetes también exponen métricas para el kube-scheduler y el kube-controller-manager. Para obtener más información, consulte Obtención de métricas sin procesar del plano de control en formato Prometheus en la Guía del usuario de Amazon EKS.

En los temas siguientes se describe cómo crear, administrar y configurar raspadores.

Crear un raspador

Un recopilador de Amazon Managed Service para Prometheus consta de un raspador que descubre y recopila métricas de un clúster de Amazon EKS. Amazon Managed Service para Prometheus gestiona el raspador por usted y le brinda la escalabilidad, la seguridad y la fiabilidad que necesita, sin tener que gestionar usted mismo ninguna instancia, agente o raspador.

Existen tres formas de crear un scraper:

Existen algunos requisitos previos para crear su propio raspador:

AWS API

Para crear un raspador mediante la API de AWS

Utilice la operación de la API CreateScraper para crear un raspador con la API AWS. En el siguiente ejemplo se crea un raspador en la región us-west-2. Es necesario reemplazar la Cuenta de AWS, el espacio de trabajo y la información del clúster de Amazon EKS por sus propios ID y proporcionar la configuración que utilizará para su raspador.

nota

El grupo de seguridad y las subredes deben configurarse en el grupo de seguridad y las subredes del clúster al que se está conectando.

Debe incluir al menos dos subredes en al menos dos zonas de disponibilidad.

scrapeConfiguration es un archivo YAML de configuración de Prometheus codificado en base64. Puede descargar una configuración de uso general con la operación de la API GetDefaultScraperConfiguration. Para obtener más información sobre el formato de scrapeConfiguration, consulte Configuración del raspador.

POST /scrapers HTTP/1.1
Content-Length: 415 
Authorization: AUTHPARAMS
X-Amz-Date: 20201201T193725Z
User-Agent: aws-cli/1.18.147 Python/2.7.18 Linux/5.4.58-37.125.amzn2int.x86_64 botocore/1.18.6

{
    "alias": "myScraper",
    "destination":  {
        "ampConfiguration": {
            "workspaceArn": "arn:aws:aps:us-west-2:account-id:workspace/ws-workspace-id"
        }
    },
    "source": {
        "eksConfiguration": {
            "clusterArn": "arn:aws:eks:us-west-2:account-id:cluster/cluster-name",
            "securityGroupIds": ["sg-security-group-id"],
            "subnetIds": ["subnet-subnet-id-1", "subnet-subnet-id-2"]
        }
    },
    "scrapeConfiguration": {
        "configurationBlob": <base64-encoded-blob>
    }
}

AWS CLI

Para crear un raspador mediante la AWS CLI

Utilice el comando create-scraper para crear un scraper con la AWS CLI. En el siguiente ejemplo se crea un scraper en la región us-west-2. Es necesario reemplazar la Cuenta de AWS, el espacio de trabajo y la información del clúster de Amazon EKS por sus propios ID y proporcionar la configuración que utilizará para su raspador.

nota

El grupo de seguridad y las subredes deben configurarse en el grupo de seguridad y las subredes del clúster al que se está conectando.

Debe incluir al menos dos subredes en al menos dos zonas de disponibilidad.

scrape-configuration es un archivo YAML de configuración de Prometheus codificado en base64. Puede descargar una configuración de uso general con el comando get-default-scraper-configuration. Para obtener más información sobre el formato de scrape-configuration, consulte Configuración del raspador.

aws amp create-scraper \
  --source eksConfiguration="{clusterArn='arn:aws:eks:us-west-2:account-id:cluster/cluster-name', securityGroupIds=['sg-security-group-id'],subnetIds=['subnet-subnet-id-1', 'subnet-subnet-id-2']}" \
  --scrape-configuration configurationBlob=<base64-encoded-blob> \
  --destination ampConfiguration="{workspaceArn='arn:aws:aps:us-west-2:account-id:workspace/ws-workspace-id'}"

A continuación se muestra una lista completa de las operaciones del raspador que puede usar con la API de AWS:

Configuración entre cuentas

Para crear un scraper entre cuentas cuando el clúster de Amazon EKS y el espacio de trabajo de Amazon Managed Service para Prometheus estén en cuentas diferentes, siga el procedimiento que se indica a continuación. Por ejemplo, tiene una cuenta de origen account_id_source que contiene el clúster de Amazon EKS y una cuenta de destino account_id_target que contiene el espacio de trabajo de Amazon Managed Service para Prometheus.

Cambio entre un rol RoleConfiguration y un rol vinculado al servicio

Si quiere volver a un rol vinculado al servicio en lugar del rol RoleConfiguration para escribir en un espacio de trabajo de Amazon Managed Service para Prometheus, debe actualizar UpdateScraper y proporcionar un espacio de trabajo en la misma cuenta que el scraper sin el rol RoleConfiguration. El rol RoleConfiguration se eliminará del scraper y se utilizará el rol vinculado al servicio.

Si cambia de espacio de trabajo en la misma cuenta que el scraper y quiere seguir utilizando el rol RoleConfiguration, debe volver a proporcionar el RoleConfiguration en UpdateScraper.

Creación de un scraper para espacios de trabajo habilitados con claves administradas por el cliente

Para crear un scraper para incorporar métricas a un espacio de trabajo de Amazon Managed Service para Prometheus con claves administradas por el cliente, utiliza el rol --role-configuration con el origen y el destino configurados en la misma cuenta.

aws amp create-scraper \
  --source eksConfiguration="{clusterArn='arn:aws:eks:us-west-2:account-id:cluster/xarw,subnetIds=[subnet-subnet_id]}" \
  --scrape-configuration configurationBlob=<base64-encoded-blob> \
  --destination ampConfiguration="{workspaceArn='arn:aws:aps:us-west-2:account-id:workspace/ws-workspace-id'}"\
  --role-configuration '{"sourceRoleArn":"arn:aws:iam::account_id:role/Source", "targetRoleArn":"arn:aws:iam::account_id:role/Target"}'
                

Errores comunes al crear analizadores

Los siguientes son los problemas más comunes al intentar crear un analizador nuevo.

Configuración del clúster de Amazon EKS

Su clúster de Amazon EKS debe estar configurado para permitir que el raspador acceda a las métricas. Hay dos opciones para esta configuración:

En los siguientes tema, se describe cada una de estas opciones de manera más detallada.

Configuración Amazon EKS para el acceso del analizador con entradas de acceso

Utilizar entradas de acceso para Amazon EKS es la forma más fácil de conceder acceso a Amazon Managed Service para Prometheus a fin de analizar métricas del clúster.

El clúster de Amazon EKS que está analizando debe estar configurado para permitir la autenticación de API. El modo de autenticación del clúster se debe establecer a API o API_AND_CONFIG_MAP. Se puede ver en la consola de Amazon EKS, en la pestaña Configuración de acceso de los detalles del clúster. Para obtener más información, consulte Cómo permitir que los roles o los usuarios de IAM accedan al objeto de Kubernetes en el clúster de Amazon EKS en la Guía del usuario de Amazon EKS.

Puede crear el analizador al crear el clúster o después de crearlo:

Creación de la política de acceso y entrada

Cuando crea un analizador y deja que Amazon Managed Service para Prometheus genere una política de entrada de acceso para usted, genera la siguiente política. Para obtener más información sobre las entradas de acceso, consulte Cómo permitir que los roles o los usuarios de IAM accedan a Kubernetes en la Guía del usuario de Amazon EKS.

{
    "rules": [
        {
            "effect": "allow",
            "apiGroups": [
                ""
            ],
            "resources": [
                "nodes",
                "nodes/proxy",
                "nodes/metrics",
                "services",
                "endpoints",
                "pods",
                "ingresses",
                "configmaps"
            ],
            "verbs": [
                "get",
                "list",
                "watch"
            ]
        },
        {
            "effect": "allow",
            "apiGroups": [
                "extensions",
                "networking.k8s.io"
            ],
            "resources": [
                "ingresses/status",
                "ingresses"
            ],
            "verbs": [
                "get",
                "list",
                "watch"
            ]
        },
        {
            "effect": "allow",
            "apiGroups": [
                "metrics.eks.amazonaws.com"
            ],
            "resources": [
                "kcm/metrics",
                "ksh/metrics"
            ],
            "verbs": [
                "get"
            ]
        },
        {
            "effect": "allow",
            "nonResourceURLs": [
                "/metrics"
            ],
            "verbs": [
                "get"
            ]
        }
    ]
}

Configuración manual de Amazon EKS para el acceso de los analizadores

Si prefiere usar aws-auth ConfigMap para controlar el acceso al clúster de Kubernetes, puede seguir concediendo acceso a las métricas a los analizadores de Amazon Managed Service para Prometheus. Con los siguientes pasos se concede acceso a Amazon Managed Service para Prometheus con el fin de analizar métricas del clúster de Amazon EKS.

Este procedimiento utiliza kubectl y la CLI de AWS. Para obtener más información sobre la instalación de kubectl, consulte Instalación de kubectl en la Guía del usuario de Amazon EKS.

Buscar y eliminar raspadores

Puede usar la API de AWS o la AWS CLI para enumerar los raspadores de su cuenta o eliminarlos.

Para enumerar todos los analizadores de la cuenta, utilice la operación de la API ListScrapers.

Como alternativa, con la AWS CLI, llame a:

aws amp list-scrapers --region aws-region

ListScrapers devuelve todos los raspadores de su cuenta, por ejemplo:

{
    "scrapers": [
        {
            "scraperId": "s-1234abcd-56ef-7890-abcd-1234ef567890",
            "arn": "arn:aws:aps:us-west-2:123456789012:scraper/s-1234abcd-56ef-7890-abcd-1234ef567890",
            "roleArn": "arn:aws:iam::123456789012:role/aws-service-role/AWSServiceRoleForAmazonPrometheusScraper_1234abcd-2931",
            "status": {
                "statusCode": "DELETING"
            },
            "createdAt": "2023-10-12T15:22:19.014000-07:00",
            "lastModifiedAt": "2023-10-12T15:55:43.487000-07:00",
            "tags": {},
            "source": {
                "eksConfiguration": {
                    "clusterArn": "arn:aws:eks:us-west-2:123456789012:cluster/my-cluster",
                    "securityGroupIds": [
                        "sg-1234abcd5678ef90"
                    ],
                    "subnetIds": [
                        "subnet-abcd1234ef567890", 
                        "subnet-1234abcd5678ab90"
                    ]
                }
            },
            "destination": {
                "ampConfiguration": {
                    "workspaceArn": "arn:aws:aps:us-west-2:123456789012:workspace/ws-1234abcd-5678-ef90-ab12-cdef3456a78"
                }
            }
        }
    ]
}

Para eliminar un analizador, busque scraperId correspondiente al analizador que desea eliminar mediante la operación ListScrapers y, a continuación, utilice la operación DeleteScraper para eliminarlo.

Como alternativa, con la AWS CLI, llame a:

aws amp delete-scraper --scraper-id scraperId

Configuración del raspador

Puede controlar la forma en que su raspador descubre y recopila las métricas con una configuración de raspador compatible con Prometheus. Por ejemplo, puede cambiar el intervalo en el que se envían las métricas al espacio de trabajo. También puede usar el reetiquetado para reescribir dinámicamente las etiquetas de una métrica. La configuración del raspador es un archivo YAML que forma parte de la definición del raspador.

Cuando se crea un nuevo raspador, se especifica una configuración proporcionando un archivo YAML codificado en base64 en la llamada a la API. Puede descargar un archivo de configuración de uso general con la operación GetDefaultScraperConfiguration en la API de Amazon Managed Service para Prometheus.

Para modificar la configuración de un scraper, puede utilizar la operación UpdateScraper. Si necesita actualizar el origen de las métricas (por ejemplo, a un clúster de Amazon EKS diferente), debe eliminar el scraper y volver a crearlo con la nueva fuente.

Configuración admitida

Para obtener información sobre el formato de configuración del analizador, incluido un desglose detallado de los valores posibles, consulte Configuración en la documentación de Prometheus. Las opciones de configuración global y las opciones <scrape_config> describen las opciones que se necesitan con más frecuencia.

Dado que Amazon EKS es el único servicio admitido, la única configuración de detección de servicios (<*_sd_config>) que se admite es <kubernetes_sd_config>.

Lista completa de secciones de configuración permitidas:

Las limitaciones de estas secciones se enumeran después del archivo de configuración de muestra.

Archivo de configuración de muestra

A continuación se muestra un ejemplo de archivo de configuración de YAML con un intervalo de raspado de 30 segundos. Este ejemplo incluye soporte para las métricas del servidor de la API de kube, así como para las métricas de kube-controller-manager y kube-scheduler. Para obtener más información, consulte Obtención de métricas sin procesar del plano de control en formato Prometheus en la Guía del usuario de Amazon EKS.

global:
   scrape_interval: 30s
   external_labels:
     clusterArn: apiserver-test-2
scrape_configs:
  - job_name: pod_exporter
    kubernetes_sd_configs:
      - role: pod
  - job_name: cadvisor
    scheme: https
    authorization:
      type: Bearer
      credentials_file: /var/run/secrets/kubernetes.io/serviceaccount/token
    kubernetes_sd_configs:
      - role: node
    relabel_configs:
      - action: labelmap
        regex: __meta_kubernetes_node_label_(.+)
      - replacement: kubernetes.default.svc:443
        target_label: __address__
      - source_labels: [__meta_kubernetes_node_name]
        regex: (.+)
        target_label: __metrics_path__
        replacement: /api/v1/nodes/$1/proxy/metrics/cadvisor
  # apiserver metrics
  - scheme: https
    authorization:
      type: Bearer
      credentials_file: /var/run/secrets/kubernetes.io/serviceaccount/token
    job_name: kubernetes-apiservers
    kubernetes_sd_configs:
    - role: endpoints
    relabel_configs:
    - action: keep
      regex: default;kubernetes;https
      source_labels:
      - __meta_kubernetes_namespace
      - __meta_kubernetes_service_name
      - __meta_kubernetes_endpoint_port_name
  # kube proxy metrics
  - job_name: kube-proxy
    honor_labels: true
    kubernetes_sd_configs:
    - role: pod
    relabel_configs:
    - action: keep
      source_labels:
      - __meta_kubernetes_namespace
      - __meta_kubernetes_pod_name
      separator: '/'
      regex: 'kube-system/kube-proxy.+'
    - source_labels:
      - __address__
      action: replace
      target_label: __address__
      regex: (.+?)(\\:\\d+)?
      replacement: $1:10249
  # Scheduler metrics
  - job_name: 'ksh-metrics'
    kubernetes_sd_configs:
    - role: endpoints
    metrics_path: /apis/metrics.eks.amazonaws.com/v1/ksh/container/metrics
    scheme: https
    bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
    relabel_configs:
    - source_labels:
      - __meta_kubernetes_namespace
      - __meta_kubernetes_service_name
      - __meta_kubernetes_endpoint_port_name
      action: keep
      regex: default;kubernetes;https
  # Controller Manager metrics
  - job_name: 'kcm-metrics'
    kubernetes_sd_configs:
    - role: endpoints
    metrics_path: /apis/metrics.eks.amazonaws.com/v1/kcm/container/metrics
    scheme: https
    bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
    relabel_configs:
    - source_labels:
      - __meta_kubernetes_namespace
      - __meta_kubernetes_service_name
      - __meta_kubernetes_endpoint_port_name
      action: keep
      regex: default;kubernetes;https

Las siguientes limitaciones son específicas de los recopiladores administrados por AWS:

Solución de problemas de configuración del raspador

Los recopiladores de Amazon Managed Service para Prometheus descubren y raspan métricas automáticamente. Pero, ¿cómo puede solucionar los problemas si no ve una métrica que esperaba ver en su espacio de trabajo de Amazon Managed Service para Prometheus?

La métrica up es una herramienta útil. Esta métrica se proporciona automáticamente para cada punto de conexión que descubre un recopilador de Amazon Managed Service para Prometheus. Hay tres estados de esta métrica que pueden ayudarte a solucionar los problemas que se producen en el recopilador.

Limitaciones del raspador

Los raspadores totalmente gestionados que ofrece Amazon Managed Service para Prometheus presentan pocas limitaciones.