View a markdown version of this page

Le cluster EMR n'a pas pu être provisionné - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Le cluster EMR n'a pas pu être provisionné

Plusieurs raisons peuvent expliquer l'échec du démarrage d'un cluster Amazon EMR. Voici quelques méthodes pour diagnostiquer le problème.

Consulter les journaux de provisionnement EMR

Amazon EMR utilise Puppet pour installer et configurer des applications sur un cluster. L'examen des journaux permet de savoir si des erreurs se sont produites lors de la phase de provisionnement d'un cluster. Les journaux sont accessibles sur le cluster ou sur S3 si les journaux sont configurés pour être envoyés vers S3.

Les journaux sont stockés /var/log/provision-node/apps-phase/0/{UUID}/puppet.log sur le disque et s3://<LOG LOCATION>/<CLUSTER ID>/node/<EC2 INSTANCE ID>/provision-node/apps-phase/0/{UUID}/puppet.log.gz.

Messages d'erreur courants

Message d’erreur Cause

Puppet (err) : échec du démarrage du système ! emr-record-server journalctl log pour : emr-record-server

Le serveur d'enregistrement EMR n'a pas pu démarrer. Consultez les journaux du serveur d'enregistrement EMR ci-dessous.

Puppet (err) : échec du démarrage du système ! emr-record-server journal journalctl pour emrsecretagent :

EMR Secret Agent n'a pas pu démarrer. Consultez la section Vérifier les journaux de Secret Agent ci-dessous.

/Stage [main] /Ranger_Plugins : :Ranger_Hive_ (notice) : 140408606197664:Error:0906D06C:PEM Routines:PEM_READ_BIO:Aucune ligne de départ : PEM_Lib.c:707 : À attendre : N'IMPORTE plugin/Ranger_plugins::Prepare_two_way_tls[configure 2-way TLS in Hive plugin]/Exec[create keystore and truststore for Ranger Hive plugin]/returns QUELLE CLÉ PRIVÉE

Le certificat TLS privé dans Secret Manager pour le certificat du plug-in Apache Ranger n'est pas au bon format ou n'est pas un certificat privé. Consultez Certificats TLS pour l'intégration d'Apache Ranger à Amazon EMR pour les formats de certificats.

/Stage [main] /Ranger_Plugins : :Ranger_S3_ plugin/Ranger_plugins::Prepare_two_way_tls[configure 2-way TLS in Ranger s3 plugin]/Exec[create keystore and truststore for Ranger amazon-emr-s3 plugin]/returns (notice): An error occurred (AccessDeniedException) when calling the GetSecretValue operation: User: arn:aws:sts::XXXXXXXXXXX:assumed-role/EMR_EC2_DefaultRole/i -XXXXXXXXXXXX n'est pas autorisé à exécuter : secretsmanager : on resource : arn:aws:secretsmanager:us-east-1:XXXXXXXXXX:secret : -XXXXX GetSecretValue AdminServer

Le rôle de profil d'instance EC2 ne dispose pas des autorisations appropriées pour récupérer les certificats TLS auprès de Secrets Agent.

Vérifiez les SecretAgent journaux

Les journaux de l'agent secret se trouvent dans /emr/secretagent/log/ sur un nœud EMR ou dans le répertoire de S3 s3://<LOG LOCATION>/<CLUSTER ID>/node/<EC2 INSTANCE ID>/daemons/secretagent/.

Messages d'erreur courants

Message d’erreur Cause

Exception dans le thread « main » com.amazonaws.services.securitytoken.model. AWSSecurityTokenServiceException: L'utilisateur : arn:aws:sts : :XXXXXXXXXXXX:Assused- role/EMR_EC2_DefaultRole/i -XXXXXXXXXXXXXXXXXXX n'est pas autorisé à exécuter : sts : on resource : arn:aws:iam : :XXXXXXXXXXXX:role/* (Service : ; AssumeRole Code de statut : 403 ; Code d'erreur : ; ID de demande : XXXXXXXX-XXXX-XXXX-XXXXXXXXXXXX ; Proxy : null RangerPluginDataAccessRole) AWSSecurity TokenService AccessDenied

L'exception ci-dessus signifie que le rôle de profil d'instance EMR EC2 n'est pas autorisé à assumer ce rôle. RangerPluginDataAccessRole Consultez Rôles IAM pour une intégration native avec Apache Ranger.

ERROR qtp54617902-149: Web App Exception Occurred

javax.ws.rs. NotAllowedException: La méthode HTTP 405 n'est pas autorisée

Vous pouvez ignorer ces erreurs.

Vérifiez les journaux du serveur d'enregistrement (pour SparkSQL)

<CLUSTER ID><EC2 INSTANCE ID>Les journaux du serveur d'enregistrement EMR sont disponibles sur/var/log/emr-record-server/ sur un nœud EMR, ou ils se trouvent dans le répertoire s3 :<LOG LOCATION>////node/ /daemons//dans S3. emr-record-server

Messages d'erreur courants

Message d’erreur Cause

InstanceMetadataServiceResourceFetcher:105 - [] Impossible de récupérer le jeton com.amazonaws. SdkClientException: Impossible de se connecter au point de terminaison du service

L'EMR SecretAgent ne s'est pas affiché ou présente un problème. Vérifiez la présence d'erreurs dans les SecretAgent journaux et dans le script de marionnette pour déterminer s'il y a eu des erreurs de provisionnement.