Supervisión del desfase del consumidor - Transmisión administrada de Amazon para Apache Kafka

Supervisión del desfase del consumidor

Supervisar el desfase del consumidor permite identificar a los consumidores lentos o estancados que no están al tanto de los últimos datos disponibles sobre un tema. Cuando sea necesario, puede tomar medidas correctivas, como ampliar el número de consumidores o reiniciarlos. Para controlar el desfase del consumidor, puede utilizar Amazon CloudWatch o la supervisión abierta con Prometheus.

Las métricas de desfase del consumidor cuantifican la diferencia entre los datos más recientes escritos sobre sus temas y los datos leídos por las aplicaciones. Amazon MSK proporciona las siguientes métricas de desfase del consumidor, que puede obtener a través de Amazon CloudWatch o mediante la supervisión abierta con Prometheus: EstimatedMaxTimeLag, EstimatedTimeLag, MaxOffsetLag, OffsetLag y SumOffsetLag. Para obtener información acerca de estas métricas, consulte Métricas de Amazon MSK para la supervisión de agentes Standard con CloudWatch.

Amazon MSK admite las métricas de desfase del consumidor para clústeres con la versión 2.2.1 o posterior de Apache Kafka. Tenga en cuenta los siguientes puntos cuando trabaje con métricas de Kafka y CloudWatch:

  • Las métricas de desfase del consumidor se emiten únicamente si un grupo de consumidores se encuentra en estado ESTABLE o VACÍO. Un grupo de consumidores se mantiene ESTABLE tras completar satisfactoriamente el proceso de reequilibrio, lo que garantiza que sus particiones se distribuyan uniformemente entre los consumidores.

  • Las métricas de desfase del consumidor no se emiten en los siguientes escenarios:

    • Si el grupo de consumidores es inestable.

    • Si el nombre del grupo de consumidores contiene dos puntos (:).

    • Si no ha configurado el desplazamiento del consumidor para el grupo de consumidores.

  • Los nombres de los grupos de consumidores se utilizan como dimensiones para las métricas de desfase del consumidor en CloudWatch. Aunque Kafka admite caracteres UTF-8 en los nombres de los grupos de consumidores, CloudWatch solo admite caracteres ASCII para los valores de dimensión. Si utiliza caracteres que no sean ASCII en los nombres de los grupos de consumidores, CloudWatch descarta las métricas de desfase del consumidor. Para garantizar que las métricas de desfase del consumidor se capturen correctamente en CloudWatch, debe utilizar únicamente caracteres ASCII en los nombres de los grupos de consumidores.