Supervisión del desfase del consumidor - Transmisión gestionada de Amazon para Apache Kafka

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Supervisión del desfase del consumidor

Supervisar el desfase del consumidor permite identificar a los consumidores lentos o estancados que no están al tanto de los últimos datos disponibles sobre un tema. Cuando sea necesario, puede tomar medidas correctivas, como ampliar el número de consumidores o reiniciarlos. Para monitorear el retraso de consumo, puedes usar Amazon CloudWatch o el monitoreo abierto con Prometheus.

Las métricas de desfase del consumidor cuantifican la diferencia entre los datos más recientes escritos sobre sus temas y los datos leídos por las aplicaciones. Amazon MSK proporciona las siguientes métricas de retraso en el consumo, que puede obtener a través de Amazon CloudWatch o mediante la supervisión abierta con Prometheus:,,, y. EstimatedMaxTimeLag EstimatedTimeLag MaxOffsetLag OffsetLag SumOffsetLag Para obtener información acerca de estas métricas, consulte Métricas de Amazon MSK para monitorear a los corredores estándar con CloudWatch.

Amazon MSK admite las métricas de desfase del consumidor para clústeres con la versión 2.2.1 o posterior de Apache Kafka. Cuando trabaje con Kafka y con métricas, tenga en cuenta los siguientes puntos: CloudWatch

  • Las métricas de retardo de consumo se emiten solo si un grupo de consumidores está en estado ESTABLE o VACÍO. Un grupo de consumidores se mantiene ESTABLE tras completar satisfactoriamente el proceso de reequilibrio, lo que garantiza que sus particiones se distribuyan uniformemente entre los consumidores.

  • Las métricas de retraso de consumo están ausentes en los siguientes escenarios:

    • Si el grupo de consumidores es inestable.

    • El nombre del grupo de consumidores contiene dos puntos (:).

    • No has establecido la compensación por consumo para el grupo de consumidores.

  • Los nombres de los grupos de consumidores se utilizan como dimensiones para las métricas de retraso de consumo CloudWatch. Si bien Kafka admite caracteres UTF-8 en los nombres de grupos de consumidores, solo CloudWatch admite caracteres ASCII para los valores de dimensión. Si utiliza caracteres que no son ASCII en los nombres de los grupos de consumidores, CloudWatch se eliminan las métricas de retardo de consumo. Para asegurarse de que las métricas de retardo de consumo se reflejan correctamente CloudWatch, debe utilizar únicamente caracteres ASCII en los nombres de los grupos de consumidores.