View a markdown version of this page

Falha no provisionamento do cluster do EMR - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Falha no provisionamento do cluster do EMR

Há vários motivos para um cluster do Amazon EMR poder falhar ao iniciar. Veja aqui algumas maneiras de diagnosticar o problema.

Verificar os logs de provisionamento do EMR

O Amazon EMR usa o Puppet para instalar e configurar aplicações em um cluster. A análise dos logs fornecerá detalhes sobre a ocorrência de erros durante a fase de provisionamento de um cluster. Os logs podem ser acessados no cluster ou no S3 se os logs estiverem configurados para serem enviados ao S3.

Os logs são armazenados em /var/log/provision-node/apps-phase/0/{UUID}/puppet.log no disco e em s3://<LOG LOCATION>/<CLUSTER ID>/node/<EC2 INSTANCE ID>/provision-node/apps-phase/0/{UUID}/puppet.log.gz.

Mensagens de erro comuns

Mensagem de erro Causa

Puppet (err): Falha na inicialização do Systemd! emr-record-server registro journalctl para: emr-record-server

Falha ao iniciar o EMR Record Server. Veja abaixo os logs do EMR Record Server.

Puppet (err): Falha na inicialização do Systemd! emr-record-server registro journalctl para emrsecretagent:

O agente secreto do EMR falhou ao iniciar. Veja abaixo os logs do agente secreto.

/Stage [main] /Ranger_Plugins: :Ranger_hive_ (aviso): 140408606197664:Error:0906d06c:PEM Rotines:PEM_read_bio:No start-line: PEM_lib.c:707:ESPERANDO: plugin/Ranger_plugins::Prepare_two_way_tls[configure 2-way TLS in Hive plugin]/Exec[create keystore and truststore for Ranger Hive plugin]/returns QUALQUER CHAVE PRIVADA

O certificado TLS privado do Secret Manager para o certificado do plug-in Apache Ranger não está no formato correto ou não é um certificado privado. Consulte Certificados TLS para integração do Apache Ranger com o Amazon EMR para ver os formatos de certificado.

/Stage [main] /Ranger_Plugins: :Ranger_S3_ plugin/Ranger_plugins::Prepare_two_way_tls[configure 2-way TLS in Ranger s3 plugin]/Exec[create keystore and truststore for Ranger amazon-emr-s3 plugin]/returns (notice): An error occurred (AccessDeniedException) when calling the GetSecretValue operation: User: arn:aws:sts::XXXXXXXXXXX:assumed-role/EMR_EC2_DefaultRole/i -XXXXXXXXXXXX não está autorizado a executar: secretsmanager: no recurso: arn:aws:secretsmanager:us-east-1:xxxxxxxxxx:secret: -XXXXX GetSecretValue AdminServer

O perfil do perfil de instância do EC2 não tem as permissões corretas para recuperar os certificados TLS do Secrets Agent.

Verifique SecretAgent os registros

Os logs do Secret Agent estão localizados em /emr/secretagent/log/ em um nó do EMR ou no diretório s3://<LOG LOCATION>/<CLUSTER ID>/node/<EC2 INSTANCE ID>/daemons/secretagent/ do S3.

Mensagens de erro comuns

Mensagem de erro Causa

Exceção no tópico “main” com.amazonaws.services.securitytoken.model. AWSSecurityTokenServiceException: Usuário: arn:aws:sts: :xxxxxxxxxxxx:assumido- role/EMR_EC2_DefaultRole/i -XXXXXXXXXXXXXXXXX não está autorizado a executar: sts: AssumeRole no recurso: arn:aws:iam: :XXXXXXXXXXXX:role/* (Serviço:; Código de status: 403; Código de erro:; ID da solicitação: XXXXXXXX-XXXX-XXXX-XXXXXXXXXXXX; Proxy: null RangerPluginDataAccessRole) AWSSecurity TokenService AccessDenied

A exceção acima significa que a função de perfil da instância EC2 do EMR não tem permissões para assumir a função. RangerPluginDataAccessRole Consulte Perfis do IAM para integração nativa com o Apache Ranger.

ERROR qtp54617902-149: Web App Exception Occurred

javax.ws.rs. NotAllowedException: Método HTTP 405 não permitido

Esses erros podem ser ignorados com segurança.

Verificar logs do Record Server (para SparkSQL)

<LOG LOCATION><CLUSTER ID><EC2 INSTANCE ID>Os registros do EMR Record Server estão disponíveis em/var/log/emr-record-server/ em um nó do EMR ou podem ser encontrados no diretório s3:////node/ /daemons//no S3. emr-record-server

Mensagens de erro comuns

Mensagem de erro Causa

InstanceMetadataServiceResourceFetcher:105 - [] Falha ao recuperar o token com.amazonaws. SdkClientException: Falha na conexão com o endpoint de serviço

O EMR SecretAgent não apareceu ou está com problemas. Inspecione os SecretAgent registros em busca de erros e o script de marionete para determinar se houve algum erro de provisionamento.