Error de clúster de Amazon EMR: “El archivo solo pudo ser replicado a 0 nodos en lugar de 1”
Cuando un archivo se escribe en HDFS, se replica a varios nodos secundarios. Cuando vea este error, significa que el daemon NameNode no tiene ninguna instancia de DataNode disponible para escribir datos en HDFS. En otras palabras, la replicación de bloques no se está produciendo. Este error puede deberse a una serie de problemas:
-
El sistema de archivos HDFS podría haberse quedado sin espacio. Esta es la causa más probable.
-
Las instancias DataNode podrían no haber estado disponibles cuando se ejecutó el trabajo.
-
La comunicación de las instancias DataNode podría haber estado bloqueada con el nodo principal.
-
Las instancias del grupo de instancias secundarias podrían no estar disponibles.
-
Es posible que falten permisos. Por ejemplo, el daemon JobTracker podría no tener permisos para crear la información de seguimiento del trabajo.
-
El ajuste de espacio reservado para una instancia DataNode podría ser insuficiente. Compruebe si este es el caso comprobando la opción de configuración dfs.datanode.du.reserved.
Para comprobar si este problema se debe a que HDFS se ha quedado sin espacio en disco, examine la métrica HDFSUtilization en CloudWatch. Si este valor es demasiado alto, puede añadir nodos secundarios adicionales en el clúster. Si tiene un clúster que cree que podría quedarse sin espacio en disco de HDFS, puede configurar una alarma en CloudWatch que le avise si el valor de HDFSUtilization supera un determinado nivel. Para obtener más información, consulte Cambio manual del tamaño de un clúster de Amazon EMR en ejecución y Monitorización de métricas de Amazon EMR con CloudWatch.
Si el problema no es que HDFS se quede sin espacio, compruebe los registros DataNode, los registros de NameNode y la conectividad de red para los demás problemas que podrían haber evitado que HDFS replicara los datos. Para obtener más información, consulte Visualización de los archivos de registro de Amazon EMR.
