As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Monitorando o EMR com HBase a Amazon CloudWatch
A partir do EMR 7.0, o Amazon EMR fornece o CloudWatch Amazon Agent para enviar métricas para o Prometheus CloudWatch ou para o Prometheus, substituindo o sistema de monitoramento Ganglia. Você pode encontrar mais detalhes no Amazon CloudWatch Agent Configuration Guide.
O agente CloudWatch Amazon do EMR 7.0 forneceu integração básica e sua configuração exigiu esforço manual, como baixar componentes e usar ações de bootstrap. No entanto, a partir do EMR 7.1, o processo é simplificado. O uso do Amazon CloudWatch Agent no EMR 7.1 facilita o monitoramento de métricas específicas do sistema e do aplicativo, incluindo aquelas para. HBase Ao usar a API de configuração do EMR, você pode configurar e personalizar rapidamente o processo de coleta de métricas e escolher para onde enviar os dados, seja para a Amazon ou para a Prometheus. CloudWatch Essa flexibilidade ajuda você a acompanhar de perto seus HBase clusters, garantindo que eles funcionem sem problemas e com eficiência.
Usando a API de configuração do EMR para lidar com toda a configuração, tornando o processo muito mais fácil. O CloudWatch agente no EMR 7.1 oferece suporte a três tipos principais de métricas:
Métricas do sistema — incluem indicadores-chave do desempenho do sistema, como: uso de CPU, uso de disco, uso de memória, E/S de rede, processos e uso de swap.
Métricas do Hadoop Daemon — Essas métricas estão relacionadas aos vários componentes do Hadoop, incluindo: DataNode métricas, métricas, métricas do YARN e métricas do NodeManager YARN. NameNode ResourceManager
HBase Métricas — Essas métricas fornecem informações sobre o desempenho HBase do: métricas HBase principais, métricas do servidor HBase regional, métricas do servidor HBase REST e métricas do HBase Thrift Server.
- Using the AWS CLI
-
Todas as métricas do Hadoop HBase são baseadas em JMX, o que significa que elas usam extensões de gerenciamento Java para fornecer informações detalhadas. Veja como você pode configurar o Amazon CloudWatch Agent para monitorar HBase:
Consulte os pré-requisitos antes de criar um cluster com o Amazon Agent. CloudWatch Use um create-cluster comando semelhante ao exemplo que aparece após essa lista.
Consulte as configurações compatíveis com um HBase cluster.
Consulte o exemplo a seguir para ver exemplos de configurações para configurar o HBase monitoramento. Consulte as configurações de exemplo para a --configuration entrada.
aws emr create-cluster --name "HBase cluster with CloudWatch agent" \
--release-label emr-7.1.0 \
--applications Name=HBase Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--configurations file://./configurations.json \
--instance-count 3 --use-default-roles
Para obter mais informações sobre configurações de amostra JSON para métricas, consulte Configurar métricas.
- Using the console
-
Para criar um cluster com o CloudWatch agente da Amazon a partir do console, execute estas etapas:
Crie um cluster com o CloudWatch agente a partir do console
-
Faça login no e abra AWS Management Console o console do Amazon EMR em https://console.aws.amazon.com /emr.
-
Selecione Criar cluster.
-
Em Nome e aplicações, escolha uma versão 7.0.0 ou superior do Amazon EMR.
Em Pacote de aplicativos, selecione HBase os aplicativos adicionais que você deseja instalar em seu cluster e inclua o CloudWatch agente em suas seleções.
Expanda as configurações de software. Você poderá inserir a configuração diretamente usando JSON ou uma sintaxe abreviada demonstrada no texto sombreado no console. Caso contrário, você pode fornecer um URI do Amazon S3 para um arquivo com um objeto JSON Configurations. Para obter mais informações sobre configurações de amostra JSON para métricas, consulte Configurar métricas.
Prossiga com a criação do cluster para atender às necessidades do seu caso de uso.
