Supervisión de Amazon MSK Connect
La supervisión es una parte importante a la hora de mantener la fiabilidad, la disponibilidad y el rendimiento de MSK Connect y las demás soluciones de AWS. Amazon CloudWatch supervisa los recursos y las aplicaciones de AWS que ejecuta en AWS en tiempo real. Puede recopilar métricas y realizar un seguimiento de las métricas, crear paneles personalizados y definir alarmas que le advierten o que toman medidas cuando una métrica determinada alcanza el umbral que se especifique. Por ejemplo, puede hacer que CloudWatch haga un seguimiento del uso de la CPU u otras métricas del conector para aumentar la capacidad si es necesario. Para obtener más información, consulte la Guía del usuario de Amazon CloudWatch.
Puede usar las siguientes operaciones de la API:
-
DescribeConnectorOperation: supervise el estado de las operaciones de actualización del conector. -
ListConnectorOperations: realice un seguimiento de las actualizaciones anteriores ejecutadas en el conector.
En la siguiente tabla se muestran las métricas que MSK Connect envía a CloudWatch en la dimensión ConnectorName. MSK Connect proporciona estas métricas por defecto y sin costo adicional. CloudWatch conserva estas métricas durante 15 meses para que pueda obtener acceso a la información histórica y conocer mejor el rendimiento de sus conectores. También puede establecer alarmas que vigilen determinados umbrales y enviar notificaciones o realizar acciones cuando se cumplan dichos umbrales. Para obtener más información, consulte la Guía del usuario de Amazon CloudWatch.
| Nombre de métrica | Descripción |
|---|---|
CpuUtilization |
El porcentaje de consumo de CPU por sistema y usuario. |
ErroredTaskCount |
El número de tareas que han producido errores. |
MemoryUtilization |
El porcentaje de la memoria total de una instancia de proceso de trabajo, no solo de la memoria en montón de la máquina virtual Java (JVM) que se utiliza actualmente. Por lo general, la JVM no devuelve memoria al sistema operativo. Por lo tanto, el tamaño en montón de JVM (MemoryUtilization) generalmente comienza con un tamaño en montón mínimo que aumenta gradualmente hasta un máximo estable de aproximadamente el 80-90 %. El uso en montón de JVM puede aumentar o disminuir a medida que cambia el uso real de la memoria del conector. |
RebalanceCompletedTotal |
El número total de reequilibrados realizados por este conector. |
RebalanceTimeAvg |
El tiempo medio en milisegundos que tarda el conector en reequilibrarse. |
RebalanceTimeMax |
El tiempo máximo en milisegundos que tarda el conector en reequilibrarse. |
RebalanceTimeSinceLast |
El tiempo en milisegundos desde que este conector completó el reequilibrio más reciente. |
RunningTaskCount |
El número de tareas en ejecución en el conector. |
SinkConsumerByteRate |
El número promedio de bytes consumidos por segundo por el consumidor de tipo Sink del marco Kafka Connect antes de que se apliquen transformaciones a los datos. |
SinkRecordReadRate |
El número medio de registros leídos por segundo desde el clúster de Apache Kafka o Amazon MSK. |
SinkRecordSendRate |
El número medio por segundo de registros que se generan a partir de las transformaciones y se envían al destino. Este número no incluye los registros filtrados. |
SourceRecordPollRate |
El número medio por segundo de registros producidos o sondeados. |
SourceProducerByteRate |
El número promedio de bytes producidos por segundo por el productor de tipo Source del marco Kafka Connect después de que se apliquen transformaciones a los datos. |
SourceRecordWriteRate |
El número medio de salida de registros por segundo desde las transformaciones y escrituras en el clúster de Apache Kafka o Amazon MSK. |
TaskStartupAttemptsTotal |
El número total de intentos de inicio de tareas del conector. Puede usar esta métrica para identificar anomalías en los intentos de inicio de tareas. |
TaskStartupSuccessPercentage |
El porcentaje medio de inicios de tareas satisfactorios del conector. Puede usar esta métrica para identificar anomalías en los intentos de inicio de tareas. |
WorkerCount |
El número de procesos de trabajo que se están ejecutando en el conector. |
BytesInPerSec |
Bytes de metadatos transferidos al marco de trabajo Kafka Connect para la comunicación entre nodos de trabajo. |
BytesOutPerSec |
Bytes de metadatos transferidos desde el marco de trabajo Kafka Connect para la comunicación entre nodos de trabajo. |
