Exibição de status e detalhes do cluster do Amazon EMR - Amazon EMR
Visualizar os detalhes do cluster usando o Console de gerenciamento da AWSVisualizar os detalhes do cluster usando o AWS CLI

Exibição de status e detalhes do cluster do Amazon EMR

Depois de criar um cluster, você pode monitorar seu status e obter informações detalhadas sobre sua execução e erros que podem ter ocorrido, mesmo depois de ele ter sido terminado. O Amazon EMR salva metadados sobre clusters terminados para sua referência por dois meses, e os metadados são excluídos após esse período. Você não pode excluir clusters do histórico de clusters, mas, usando o Console de gerenciamento da AWS, você pode usar o Filter (Filtro) e, usando a AWS CLI, você pode usar opções com o comando list-clusters para focalizar nos clusters que interessam a você.

Você pode acessar o histórico do aplicativo armazenado no cluster por uma semana a partir de sua gravação, independentemente de se o cluster está em execução ou encerrado. Além disso, as interfaces do usuário de aplicativos persistentes armazenam o histórico de aplicativos fora do cluster por 30 dias após o encerramento de um cluster. Consulte Visualizar o histórico da aplicação.

Para obter mais informações sobre estados de cluster, como Waiting e Running, consulte Noções básicas sobre o ciclo de vida do cluster.

Visualizar os detalhes do cluster usando o Console de gerenciamento da AWS

A lista Clusters no https://console.aws.amazon.com/emr lista todos os clusters da conta e região da AWS, incluindo clusters terminados. A lista mostra o seguinte para cada cluster: o Nome e o ID, o Status e os Detalhes do status, a Hora da criação, o Tempo decorrido em que o cluster esteve em execução e as Horas da instância normalizadas que foram acumuladas para todas as instâncias do EC2 no cluster. Essa lista é o ponto de partida para monitorar o status dos clusters. Ela foi criada para que você possa analisar detalhadamente cada cluster para análise e solução de problemas.

Console
Para exibir as informações do cluster usando o console

  1. Faça login no Console de gerenciamento da AWS e abra o console do Amazon EMR em https://console.aws.amazon.com/emr.

  2. Em EMR no EC2 no painel de navegação esquerdo, escolha Clusters e selecione o cluster que você deseja visualizar.

  3. Use o painel Resumo para visualizar as informações básicas sobre a configuração do cluster, como o status do cluster, as aplicações de código aberto que o Amazon EMR instalou no cluster e a versão do Amazon EMR usada para criar o cluster. Use cada guia abaixo do Resumo para visualizar informações, conforme descrito na tabela a seguir.

Visualizar os detalhes do cluster usando o AWS CLI

Os exemplos a seguir demonstram como recuperar detalhes de cluster usando a AWS CLI. Para obter mais informações sobre os comandos disponíveis, consulte AWS CLI Command Reference for Amazon EMR. Você pode usar o comando describe-cluster para visualizar detalhes em nível de cluster, incluindo status, configuração de hardware e software, configurações da VPC, ações de bootstrap, grupos de instâncias, etc. Para obter mais informações sobre estados de cluster, consulte Noções básicas sobre o ciclo de vida do cluster. O exemplo a seguir demonstra o uso do comando describe-cluster, seguido por exemplos do comando list-clusters.

exemplo Visualizar o status do cluster

Para usar o comando describe-cluster, você precisa do ID do cluster. Este exemplo demonstra o uso para obter uma lista dos clusters criados em um determinado intervalo de datas e, em seguida, o uso de um dos IDs de cluster retornados para listar mais informações sobre o status de um cluster individual.

O comando a seguir descreve o cluster j-1K48XXXXXXHCB que você substitui pelo ID do seu cluster.

aws emr describe-cluster --cluster-id j-1K48XXXXXXHCB

A saída do comando é semelhante à seguinte.

{
    "Cluster": {
        "Status": {
            "Timeline": {
                "ReadyDateTime": 1438281058.061, 
                "CreationDateTime": 1438280702.498
            }, 
            "State": "WAITING", 
            "StateChangeReason": {
                "Message": "Waiting for steps to run"
            }
        }, 
        "Ec2InstanceAttributes": {
            "EmrManagedMasterSecurityGroup": "sg-cXXXXX0", 
            "IamInstanceProfile": "EMR_EC2_DefaultRole", 
            "Ec2KeyName": "myKey", 
            "Ec2AvailabilityZone": "us-east-1c", 
            "EmrManagedSlaveSecurityGroup": "sg-example"
        }, 
        "Name": "Development Cluster", 
        "ServiceRole": "EMR_DefaultRole", 
        "Tags": [], 
        "TerminationProtected": false, 
        "ReleaseLabel": "emr-4.0.0", 
        "NormalizedInstanceHours": 16, 
        "InstanceGroups": [
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281058.101, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "CORE", 
                "InstanceGroupType": "CORE", 
                "Id": "ig-2EEXAMPLEXXP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }, 
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281023.879, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "MASTER", 
                "InstanceGroupType": "MASTER", 
                "Id": "ig-2A1234567XP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }
        ], 
        "Applications": [
            {
                "Version": "1.0.0", 
                "Name": "Hive"
            }, 
            {
                "Version": "2.6.0", 
                "Name": "Hadoop"
            }, 
            {
                "Version": "0.14.0", 
                "Name": "Pig"
            }, 
            {
                "Version": "1.4.1", 
                "Name": "Spark"
            }
        ], 
        "BootstrapActions": [], 
        "MasterPublicDnsName": "ec2-X-X-X-X.compute-1.amazonaws.com", 
        "AutoTerminate": false, 
        "Id": "j-jobFlowID", 
        "Configurations": [
            {
                "Properties": {
                    "hadoop.security.groups.cache.secs": "250"
                }, 
                "Classification": "core-site"
            }, 
            {
                "Properties": {
                    "mapreduce.tasktracker.reduce.tasks.maximum": "5", 
                    "mapred.tasktracker.map.tasks.maximum": "2", 
                    "mapreduce.map.sort.spill.percent": "90"
                }, 
                "Classification": "mapred-site"
            }, 
            {
                "Properties": {
                    "hive.join.emit.interval": "1000", 
                    "hive.merge.mapfiles": "true"
                }, 
                "Classification": "hive-site"
            }
        ]
    }
}
exemplo Listar clusters por data de criação

Para recuperar clusters criados em um intervalo de dados específicos, use o comando list-clusters com os parâmetros --created-after e --created-before.

O comando a seguir lista todos os clusters criados entre 9 e 12 de outubro de 2019.

aws emr list-clusters --created-after 2019-10-09T00:12:00 --created-before 2019-10-12T00:12:00
exemplo Listar clusters por estado

Para listar clusters por estado, use o comando list-clusters com o parâmetro --cluster-states. Os estados de cluster válidos incluem: STARTING, BOOTSTRAPPING, RUNNING, WAITING, TERMINATING, TERMINATED e TERMINATED_WITH_ERRORS. 

aws emr list-clusters --cluster-states TERMINATED

Você também pode usar os seguintes parâmetros de atalho para listar todos os clusters nos estados especificados:

  • --active – filtra clusters nos estados STARTING, BOOTSTRAPPING, RUNNING, WAITING ou TERMINATING.

  • --terminated filtra clusters no estado TERMINATED.

  • --failedO parâmetro filtra clusters no estado TERMINATED_WITH_ERRORS.

As seguintes comandos retornam o mesmo resultado.

aws emr list-clusters --cluster-states TERMINATED
aws emr list-clusters --terminated

Para obter mais informações sobre estados de cluster, consulte Noções básicas sobre o ciclo de vida do cluster.