Erreurs de cluster Hive - Amazon EMR
Utilisez-vous la dernière version de Hive ?Avez-vous rencontré une erreur de syntaxe dans le script Hive ?Une tâche a-t-elle échoué lors d'une exécution interactive ?Rencontrez-vous des problèmes de chargement de données vers ou depuis Amazon S3 dans Hive ?

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Erreurs de cluster Hive

Vous pouvez généralement trouver la cause d'une erreur Hive dans le fichier syslog, dont le lien est disponible dans le volet Étapes. Si vous ne pouvez pas déterminer le problème grâce à ce fichier, vérifiez le message d'erreur de la tentative de tâche Hadoop. Vous y accédez grâce au lien disponible dans le volet Tentatives de tâche.

Les erreurs suivantes sont communes aux clusters Hive.

Utilisez-vous la dernière version de Hive ?

La dernière version de Hive comporte tous les correctifs et correctifs de bogues actuels, ce qui peut résoudre votre problème.

Avez-vous rencontré une erreur de syntaxe dans le script Hive ?

Si une étape échoue, consultez le fichier stdout des journaux relatifs à l'étape dans laquelle le script Hive a été exécuté. Si l'erreur n'est pas indiquée dans ce fichier, consultez le fichier syslog des journaux de la tentative de tâche qui a échoué. Pour de plus amples informations, veuillez consulter Afficher les fichiers journaux Amazon EMR.

Une tâche a-t-elle échoué lors d'une exécution interactive ?

Si vous exécutez Hive de façon interactive sur le nœud principal et si le cluster a échoué, consultez les entrées du journal syslog dans le journal des tentatives de tâche afin d'identifier la tentative de tâche qui a échoué. Pour de plus amples informations, veuillez consulter Afficher les fichiers journaux Amazon EMR.

Rencontrez-vous des problèmes de chargement de données vers ou depuis Amazon S3 dans Hive ?

Si vous rencontrez des difficultés pour accéder aux données dans Amazon S3, commencez par vérifier les causes possibles répertoriées dans Rencontrez-vous des difficultés lors du chargement des données vers ou depuis Amazon S3 ?. Si aucun de ces problèmes n'est à l'origine, vous pouvez utiliser les options spécifiques à Hive suivantes.

  • Veillez à utiliser la dernière version de Hive qui comporte tous les correctifs et correctifs de bogues actuels qui peuvent résoudre votre problème. Pour plus d'informations, consultez Apache Hive.

  • L'utilisation de INSERT OVERWRITE nécessite l'affichage du contenu du compartiment ou du dossier Amazon S3. Il s'agit d'une opération coûteuse. Si possible, réduisez manuellement le chemin d'accès plutôt que de faire répertorier et supprimer des objets existants par Hive.

  • Si vous utilisez une version antérieure à la version 5.0 d'Amazon EMR, vous pouvez utiliser la commande suivante dans HiveQL afin de mettre en pré-cache les résultats d'une opération de liste Amazon S3 localement sur le cluster :

    set hive.optimize.s3.query=true;

  • Si possible, utilisez des partitions statiques.

  • Dans certaines versions de Hive et d'Amazon EMR, il est possible que l'utilisation de ALTER TABLES échoue, car le tableau est stockée dans un autre emplacement que celui prévu par Hive. La solution consiste à ajouter ou mettre à jour les éléments suivants dans /home/hadoop/conf/core-site.xml:

    <property>
    <name>fs.s3n.endpoint</name>
    <value>s3.amazonaws.com</value>
</property>