View a markdown version of this page

Erreur de cluster Amazon EMR : erreur d'espace insuffisant HDFS - Amazon EMR
Causes possibles :Solutions et meilleures pratiques

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Erreur de cluster Amazon EMR : erreur d'espace insuffisant HDFS

Une erreur d'espace insuffisant du système de fichiers distribué Hadoop (HDFS) peut se produire si vous tentez de supprimer un nœud principal, mais Amazon EMR ne peut pas terminer l'opération en toute sécurité en raison d'un espace insuffisant dans le HDFS. Avant qu'Amazon EMR ne supprime un nœud principal, toutes les données HDFS du nœud doivent être transférées vers d'autres nœuds principaux pour garantir la redondance des données. Toutefois, s'il n'y a pas assez d'espace sur les autres nœuds principaux pour la réplication, Amazon EMR ne peut pas mettre le nœud hors service correctement.

Causes possibles :

Consultez la liste suivante pour obtenir la liste des causes possibles de l'erreur d'espace insuffisant du HDFS :

  • Si vous réduisez manuellement un groupe d'instances principal ou un parc d'instances alors qu'il n'y a pas assez d'espace HDFS sur les nœuds restants pour la réplication des données avant la réduction de taille.

  • La mise à l'échelle gérée ou la mise à l'échelle automatique permet de réduire la taille d'un groupe d'instances principal ou d'un parc d'instances lorsque l'espace HDFS est insuffisant pour la réplication des données.

  • Amazon EMR tente de remplacer un nœud principal défectueux mais ne parvient pas à le remplacer en toute sécurité en raison d'un espace HDFS insuffisant.

Solutions et meilleures pratiques

Consultez les solutions et les meilleures pratiques suivantes :

  • Augmentez le nombre de nœuds principaux de votre cluster Amazon EMR. Si vous utilisez la mise à l'échelle gérée ou la mise à l'échelle automatique, augmentez la capacité minimale de vos nœuds principaux.

  • Utilisez des volumes EBS plus importants pour vos nœuds principaux lorsque vous créez votre cluster EMR.

  • Supprimez les données HDFS inutiles de votre cluster EMR. Nous vous recommandons de configurer des CloudWatch alarmes pour surveiller la HDFSUtilization métrique de votre cluster afin de savoir si l'espace de votre cluster EMR est insuffisant.