View a markdown version of this page

Solución de Amazon CloudWatch: información de Amazon MSK - Amazon CloudWatch
RequisitosHabilitación del recopilador administradoNiveles de supervisión detallada de Amazon MSKVisualización del panel automáticoCostos

Solución de Amazon CloudWatch: información de Amazon MSK

Esta solución lo ayuda a supervisar sus clústeres de Amazon MSK en CloudWatch sin ejecutar ni escalar su propia infraestructura de recopilación. Al habilitar la supervisión abierta en un clúster de Amazon MSK, el clúster expone las métricas de Prometheus a través de JMX Exporter y Node Exporter, y un recopilador de Prometheus administrado por Amazon CloudWatch extrae esas métricas y las envía a CloudWatch. Para obtener información general sobre todas las soluciones de observabilidad de CloudWatch, consulte Soluciones de observabilidad de CloudWatch. Para ver el tutorial completo de configuración del recopilador, que incluye la creación de un extractor y un ejemplo de configuración del extractor, consulte Integración de Amazon MSK.

Requisitos

Esta solución es adecuada para las siguientes condiciones:

  • Un clúster de Amazon MSK en modo aprovisionado, con agentes estándar o express. Los recopiladores administrados no son compatibles con los clústeres sin servidor de Amazon MSK.

  • La supervisión abierta habilitada en el clúster, lo que expone JMX Exporter (puerto 11001) y Node Exporter (puerto 11002).

  • Amazon VPC con el DNS habilitado y al menos dos subredes en distintas zonas de disponibilidad para el recopilador.

  • Un grupo de seguridad que permite al recopilador acceder a los puertos del agente 11001 y 11002.

Habilitación del recopilador administrado

Para recopilar métricas de Amazon MSK con un recopilador administrado, debe habilitar la supervisión abierta en su clúster y, a continuación, crear un recopilador conectado a una VPC que extraiga los puntos de conexión del agente y que envíe las métricas a su conjunto de datos de CloudWatch. El recopilador se conecta a su VPC y extrae datos de todos los agentes mediante la detección de servicios basada en DNS, de modo que su supervisión se mantiene resistente a la sustitución de agentes y al escalado de clústeres. Para obtener instrucciones paso a paso, consulte Integración de Amazon MSK.

nota

El parámetro --open-monitoring por sí solo expone los puntos de conexión de Prometheus en los puertos 11001 y 11002. Los niveles de supervisión mejorada, como PER_TOPIC_PER_PARTITION, son independientes de la supervisión abierta y pueden suponer cargos adicionales, así que defínalos solo si necesita ese nivel de métricas de Amazon MSK.

Niveles de supervisión detallada de Amazon MSK

Además de las métricas de Prometheus que extrae el recopilador, Amazon MSK publica sus propias métricas en CloudWatch en varios niveles de supervisión. Cada nivel se crea a partir del anterior y proporciona una visibilidad operativa más detallada. Elija un nivel de supervisión cuando cree o actualice el clúster. En la siguiente lista se resumen los niveles. Para ver la lista completa de métricas de cada nivel, consulte Supervisión de las métricas de Amazon MSK con CloudWatch en la Guía para desarrolladores de Amazon MSK.

  • Supervisión básica (DEFAULT): el nivel predeterminado, disponible sin costo adicional. Incluye métricas por clúster y por agente, como la cantidad de agentes, la cantidad de particiones, los bytes y mensajes de entrada/salida, la utilización de la CPU y la E/S de la red.

  • Supervisión mejorada por agente (PER_BROKER): incluye la supervisión básica y métricas más detalladas por agente, a un costo adicional.

  • Supervisión mejorada por tema (PER_TOPIC_PER_BROKER): incluye la supervisión mejorada por agente y métricas por tema para ofrecer una vista más detallada del rendimiento de los temas en los distintos agentes, a un costo adicional.

  • Supervisión mejorada por partición (PER_TOPIC_PER_PARTITION): el nivel más detallado. Incluye la supervisión mejorada por tema y métricas detalladas por partición, como el retraso de desplazamiento, a un costo adicional.

nota

Amazon MSK publica métricas de supervisión detalladas para las métricas clásicas de CloudWatch, que puede consultar con la API GetMetricData. Para que las métricas de supervisión detalladas estén disponibles junto con las métricas de Prometheus de la supervisión abierta, debe habilitar el enriquecimiento de OpenTelemetry. Para obtener más información, consulte Enriquecimiento de métricas de OpenTelemetry.

Visualización del panel automático

Cuando el recopilador comienza a enviar las métricas de Amazon MSK a CloudWatch, la consola de CloudWatch proporciona un panel automático denominado MSK OTel. Para abrirlo, consulte MSK OTel o inicie sesión en la Consola de administración de AWS, abra la consola de CloudWatch, elija Paneles en el panel de navegación, elija Paneles automáticos y, a continuación, elija MSK OTel. Puede empezar a supervisar sus clústeres sin necesidad de crear ningún widget o panel usted mismo. Si el panel automático satisface sus necesidades, puede usarlo tal cual. Para crear una experiencia de supervisión personalizada, puede agregar cualquiera de sus widgets a un panel personalizado. Para obtener más información sobre los paneles personalizados, consulte Uso de paneles de CloudWatch.

Costos

Cobramos por hora por los recopiladores de Prometheus y se aplican los precios de ingesta de métricas de OpenTelemetry de CloudWatch. Los niveles de supervisión de Amazon MSK más elevados también conllevan costos mensuales adicionales. Para obtener más información sobre los precios de CloudWatch, consulte Precios de Amazon CloudWatch.