View a markdown version of this page

Falha no provisionamento do cluster do EMR - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Falha no provisionamento do cluster do EMR

Há vários motivos para um cluster do Amazon EMR poder falhar ao iniciar. Veja aqui algumas maneiras de diagnosticar o problema.

Verificar os logs de provisionamento do EMR

O Amazon EMR usa o Puppet para instalar e configurar aplicações em um cluster. A análise dos logs fornecerá detalhes sobre a ocorrência de erros durante a fase de provisionamento de um cluster. Os logs podem ser acessados no cluster ou no S3 se os logs estiverem configurados para serem enviados ao S3.

Os logs são armazenados em /var/log/provision-node/apps-phase/0/{UUID}/puppet.log no disco e em s3://<LOG LOCATION>/<CLUSTER ID>/node/<EC2 INSTANCE ID>/provision-node/apps-phase/0/{UUID}/puppet.log.gz.

Mensagens de erro comuns

Mensagem de erro Causa

Puppet (err): Systemd start for emr-record-server failed! journalctl log for emr-record-server:

Falha ao iniciar o EMR Record Server. Veja abaixo os logs do EMR Record Server.

Puppet (err): Systemd start for emr-record-server failed! journalctl log for emrsecretagent:

O agente secreto do EMR falhou ao iniciar. Veja abaixo os logs do agente secreto.

/Stage [main]/Ranger_plugins::Ranger_hive_plugin/Ranger_plugins: [configure TLS bidirecional no plug-in Hive] /Exec Prepare_two_way_tls [crie armazenamento de chaves e armazenamento confiável para o plug-in Ranger Hive] /returns (aviso): 140408606197664:error:0906 rotinas:PEM_read_bio:No start-line: PEM_lib.c:707:EXPECTING: ANY PRIVATE KEY D06C:PEM

O certificado TLS privado do Secret Manager para o certificado do plug-in Apache Ranger não está no formato correto ou não é um certificado privado. Consulte Certificados TLS para integração do Apache Ranger com o Amazon EMR para ver os formatos de certificado.

/Stage [main]/Ranger_plugins:::Ranger_s3_plugin/Ranger_plugins: Prepare_two_way_tls [configure TLS bidirecional no plug-in Ranger s3] /Exec [crie armazenamento de chaves e armazenamento confiável para o plugin Ranger amazon-emr-s3] /returns (aviso): Ocorreu um erro (AccessDeniedException) ao chamar a GetSecretValue operação: Usuário: arn:aws:sts:: -XXXXXXXXXXXX não está autorizado a executar: secretsmanager: on resource: arn:aws:secrets:secrets:gerente: us-east-1: XXXXXXXXXXX:assumed-role/EMR _EC2_DefaultRole/i GetSecretValue XXXXXXXXXX:secret:AdminServer-XXXXX

O perfil do perfil de instância do EC2 não tem as permissões corretas para recuperar os certificados TLS do Secrets Agent.

Verifique SecretAgent os registros

Os logs do Secret Agent estão localizados em /emr/secretagent/log/ em um nó do EMR ou no diretório s3://<LOG LOCATION>/<CLUSTER ID>/node/<EC2 INSTANCE ID>/daemons/secretagent/ do S3.

Mensagens de erro comuns

Mensagem de erro Causa

Exceção no tópico “main” com.amazonaws.services.securitytoken.model. AWSSecurityTokenServiceException: User: arn:aws:sts::XXXXXXXXXXXX:assumed-role/EMR_EC2_DefaultRole/i-XXXXXXXXXXXXXXXXX não está autorizado a executar: sts: AssumeRole on resource: arn:aws:iam:: XXXXXXXXXXXX:role RangerPluginDataAccessRole /* (Serviço:; Código de status: 403; Código de erro: AWSSecurityTokenService; ID da solicitação:; Proxy: null) AccessDenied XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX

A exceção acima significa que a função de perfil da instância EC2 do EMR não tem permissões para assumir a função. RangerPluginDataAccessRole Consulte Perfis do IAM para integração nativa com o Apache Ranger.

ERROR qtp54617902-149: Web App Exception Occurred

javax.ws.rs. NotAllowedException: Método HTTP 405 não permitido

Esses erros podem ser ignorados com segurança.

Verificar logs do Record Server (para SparkSQL)

<LOG LOCATION><CLUSTER ID><EC2 INSTANCE ID>Os registros do EMR Record Server estão disponíveis em/var/log/emr-record-server/ em um nó do EMR ou podem ser encontrados no diretório s3:////node//-record-server/ no S3. daemons/emr

Mensagens de erro comuns

Mensagem de erro Causa

InstanceMetadataServiceResourceFetcher:105 - [] Falha ao recuperar o token com.amazonaws. SdkClientException: Falha na conexão com o endpoint de serviço

O EMR SecretAgent não apareceu ou está com problemas. Inspecione os SecretAgent registros em busca de erros e o script de marionete para determinar se houve algum erro de provisionamento.