View a markdown version of this page

Le cluster EMR n'a pas pu être provisionné - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Le cluster EMR n'a pas pu être provisionné

Plusieurs raisons peuvent expliquer l'échec du démarrage d'un cluster Amazon EMR. Voici quelques méthodes pour diagnostiquer le problème.

Consulter les journaux de provisionnement EMR

Amazon EMR utilise Puppet pour installer et configurer des applications sur un cluster. L'examen des journaux permet de savoir si des erreurs se sont produites lors de la phase de provisionnement d'un cluster. Les journaux sont accessibles sur le cluster ou sur S3 si les journaux sont configurés pour être envoyés vers S3.

Les journaux sont stockés /var/log/provision-node/apps-phase/0/{UUID}/puppet.log sur le disque et s3://<LOG LOCATION>/<CLUSTER ID>/node/<EC2 INSTANCE ID>/provision-node/apps-phase/0/{UUID}/puppet.log.gz.

Messages d'erreur courants

Message d’erreur Cause

Puppet (err): Systemd start for emr-record-server failed! journalctl log for emr-record-server:

Le serveur d'enregistrement EMR n'a pas pu démarrer. Consultez les journaux du serveur d'enregistrement EMR ci-dessous.

Puppet (err): Systemd start for emr-record-server failed! journalctl log for emrsecretagent:

EMR Secret Agent n'a pas pu démarrer. Consultez la section Vérifier les journaux de Secret Agent ci-dessous.

/Stage [main]/Ranger_plugins: : Ranger_hive_plugin/Ranger_plugins : [configurer le protocole TLS bidirectionnel dans le plugin Hive] /Exec Prepare_two_way_tls [créer un keystore et un truststore pour le plugin Ranger Hive] /returns (notice) : 140408606197664:error:0906 routines:PEM_READ_BIO:Aucune ligne de démarrage:PEM_lib.c:707 : ATTENDU : N'IMPORTE QUELLE CLÉ PRIVÉE D06C:PEM

Le certificat TLS privé dans Secret Manager pour le certificat du plug-in Apache Ranger n'est pas au bon format ou n'est pas un certificat privé. Consultez Certificats TLS pour l'intégration d'Apache Ranger à Amazon EMR pour les formats de certificats.

/Stage [main]/Ranger_plugins: : Ranger_s3_plugin/Ranger_plugins : Prepare_two_way_tls [configurer le TLS bidirectionnel dans le plugin Ranger s3] /Exec [créer un keystore et un truststore pour le plugin Ranger amazon-emr-s3] /returns (notice) : Une erreur s'est produite (AccessDeniedException) lors de l'appel de l' GetSecretValue opération : L'utilisateur : arn:aws:sts : : -XXXXXXXXXXXX n'est pas autorisé à effectuer : secretsmanager : on resource : arn:aws:secretsmanager:easus-1 : XXXXXXXXXXX:assumed-role/EMR _EC2_DefaultRole/i GetSecretValue XXXXXXXXXX:secret:AdminServer-XXXXX

Le rôle de profil d'instance EC2 ne dispose pas des autorisations appropriées pour récupérer les certificats TLS auprès de Secrets Agent.

Vérifiez les SecretAgent journaux

Les journaux de l'agent secret se trouvent dans /emr/secretagent/log/ sur un nœud EMR ou dans le répertoire de S3 s3://<LOG LOCATION>/<CLUSTER ID>/node/<EC2 INSTANCE ID>/daemons/secretagent/.

Messages d'erreur courants

Message d’erreur Cause

Exception dans le thread « main » com.amazonaws.services.securitytoken.model. AWSSecurityTokenServiceException: User: arn:aws:sts::XXXXXXXXXXXX:assumed-role/EMR_EC2_DefaultRole/i-XXXXXXXXXXXXXXX n'est pas autorisé à exécuter : sts : AssumeRole on resource : arn:aws:iam : XXXXXXXXXXXX:role RangerPluginDataAccessRole :/* (Service : ; Code de statut : 403 ; Code d'erreur : AWSSecurityTokenService ; ID de demande : ; Proxy : AccessDenied null) XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX

L'exception ci-dessus signifie que le rôle de profil d'instance EMR EC2 n'est pas autorisé à assumer ce rôle. RangerPluginDataAccessRole Consultez Rôles IAM pour une intégration native avec Apache Ranger.

ERROR qtp54617902-149: Web App Exception Occurred

javax.ws.rs. NotAllowedException: La méthode HTTP 405 n'est pas autorisée

Vous pouvez ignorer ces erreurs.

Vérifiez les journaux du serveur d'enregistrement (pour SparkSQL)

<LOG LOCATION><CLUSTER ID><EC2 INSTANCE ID>Les journaux du serveur d'enregistrement EMR sont disponibles sur/var/log/emr-record-server/ sur un nœud EMR, ou ils se trouvent dans le répertoire s3 :////node//-record-server/ dans S3. daemons/emr

Messages d'erreur courants

Message d’erreur Cause

InstanceMetadataServiceResourceFetcher:105 - [] Impossible de récupérer le jeton com.amazonaws. SdkClientException: Impossible de se connecter au point de terminaison du service

L'EMR SecretAgent ne s'est pas affiché ou présente un problème. Vérifiez la présence d'erreurs dans les SecretAgent journaux et dans le script de marionnette pour déterminer s'il y a eu des erreurs de provisionnement.