Paso 2: compruebe el entorno del clúster de Amazon EMR

Compruebe su entorno para ver si hay interrupciones del servicio o si ha superado un límite de servicio de AWS.

Comprobar las interrupciones de servicio

Amazon EMR utiliza varios servicios de Amazon Web Services internamente. Ejecuta servidores virtuales en Amazon EC2, almacena datos y scripts en Amazon S3 e informa de las métricas a CloudWatch. Los eventos que interrumpen estos servicios son poco frecuentes, pero, cuando se producen, pueden provocar problemas en Amazon EMR.

Antes de continuar, compruebe el Panel de estado del servicio. Compruebe la región en la que lanzó el clúster para ver si hay interrupciones en alguno de estos servicios.

Comprobar los límites de uso

Si va a lanzar un clúster grande, ha lanzado varios clústeres simultáneamente o es un usuario que comparte una Cuenta de AWS con otros usuarios, es posible que el clúster haya fallado porque ha superado el límite de servicio de AWS.

Amazon EC2 limita el número de instancias de servidores virtuales que se ejecutan en una sola región AWS a 20 instancias reservadas o bajo demanda. Si lanza un clúster con más de 20 nodos o lanza un clúster que hace que el número total de instancias de EC2 activas en la Cuenta de AWS supere las 20, el clúster no podrá lanzar todas las instancias de EC2 que necesita y podría fallar. Cuando esto ocurre, Amazon EMR devuelve un error EC2 QUOTA EXCEEDED. Puede solicitar que AWS aumente el número de instancias de EC2 que puede ejecutar en su cuenta. Para ello, solicite un aumento de límite de instancias de Amazon EC2.

Otro factor que puede provocar que supere los límites de uso es el retraso que transcurre entre la finalización de un clúster y el momento en que libera todos sus recursos. En función de las diferencias de configuración, un clúster puede tardar entre 5 y 20 minutos terminar por completo y liberar los recursos asignados. Si aparece un error EC2 QUOTA EXCEEDED al intentar lanzar un clúster, puede deberse a que aún no se hayan liberado los recursos de un clúster terminado recientemente. En este caso, puede solicitar un aumento de la cuota de Amazon EC2 o puede esperar 20 minutos y volver a lanzar el clúster.

Amazon S3 limita el número de buckets creados en una cuenta a 100. Si el clúster crea un bucket nuevo que supera este límite, se producirá un error en la creación del bucket y es posible que el clúster falle.

Comprobar la configuración de subredes de Amazon VPC

Si el clúster se lanzó en una subred de Amazon VPC, la subred debe configurarse como se describe en Configuración de redes en una VPC para Amazon EMR. Además, compruebe que la subred en la que lanza el clúster tenga suficientes direcciones IP elásticas libres para asignar una a cada nodo del clúster.

Reiniciar el clúster

La ralentización de procesamiento puede deberse a una condición transitoria. Plantéese terminar y reiniciar el clúster para ver si el rendimiento mejora.