Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Supervisión de EMR con Amazon HBase CloudWatch
A partir de EMR 7.0, Amazon EMR proporciona el Amazon CloudWatch Agent para enviar las métricas o CloudWatch Prometheus, en sustitución del sistema de monitorización Ganglia. Encontrarás más detalles en la Guía de configuración de Amazon CloudWatch Agent.
El CloudWatch agente Amazon EMR 7.0 proporcionaba una integración básica y su configuración requería un esfuerzo manual, como descargar componentes y utilizar acciones de arranque. Sin embargo, a partir de EMR 7.1, el proceso se simplifica. El uso de Amazon CloudWatch Agent en EMR 7.1 facilita la supervisión de las métricas específicas del sistema y de la aplicación, incluidas las de. HBase Al usar la API de configuración de EMR, puede configurar y personalizar rápidamente el proceso de recopilación de métricas y elegir dónde enviar los datos, ya sea a Amazon CloudWatch o Prometheus. Esta flexibilidad le ayuda a vigilar de cerca sus HBase clústeres, lo que garantiza que funcionen sin problemas y de manera eficiente.
Uso de la API de configuración de EMR para gestionar toda la configuración, lo que facilita mucho el proceso. El CloudWatch agente de EMR 7.1 admite tres tipos principales de métricas:
Métricas del sistema: incluyen indicadores clave del rendimiento del sistema, como el uso de la CPU, el uso del disco, el uso de la memoria, las E/S de la red, los procesos y el uso del intercambio.
Métricas de Hadoop Daemon: estas métricas se refieren a los distintos componentes de Hadoop, que incluyen: DataNode métricas, métricas, métricas YARN y NameNode métricas YARN NodeManager . ResourceManager
HBase Métricas: estas métricas proporcionan información sobre el rendimiento: métricas HBase maestras, métricas HBase de servidores HBase regionales, métricas de servidores HBase REST y métricas de Thrift Server. HBase
- Using the AWS CLI
-
Todas las métricas de Hadoop HBase están basadas en JMX, lo que significa que utilizan Java Management Extensions para proporcionar información detallada. Así es como puedes configurar Amazon CloudWatch Agent para que supervise HBase:
Consulta los requisitos previos antes de crear un clúster con Amazon CloudWatch Agent. Utilice un create-cluster comando similar al ejemplo que aparece después de esta lista.
Consulte las configuraciones compatibles con un HBase clúster.
Consulte el ejemplo siguiente para ver ejemplos de configuraciones para configurar la HBase supervisión. Consulte los ejemplos de configuraciones de la --configuration entrada.
aws emr create-cluster --name "HBase cluster with CloudWatch agent" \
--release-label emr-7.1.0 \
--applications Name=HBase Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--configurations file://./configurations.json \
--instance-count 3 --use-default-roles
Para obtener más información sobre los ejemplos de configuraciones de JSON para las métricas, consulta Configurar métricas.
- Using the console
-
Para crear un clúster con el CloudWatch agente de Amazon desde la consola, lleve a cabo estos pasos:
Cree un clúster con el CloudWatch agente desde la consola
-
Inicie sesión en y abra la AWS Management Console consola de Amazon EMR en https://console.aws.amazon.com /emr.
-
Elija Create cluster.
-
En Nombre y aplicaciones, elija la versión de Amazon EMR 7.0.0 o posterior.
En Paquete de aplicaciones, seleccione HBase las aplicaciones adicionales que desee instalar en su clúster e incluya el CloudWatch agente en sus selecciones.
Amplíe la configuración del software. A continuación, puede introducir la configuración directamente a través de JSON o una sintaxis abreviada mostrada en el texto en sombra en la consola. De lo contrario, puede proporcionar una URI de Amazon S3 para un archivo con un objeto Configurations de JSON. Para obtener más información sobre los ejemplos de configuraciones de métricas en JSON, consulte Configurar métricas.
Continúe con la creación del clúster que se ajuste a las necesidades del caso de uso.
