Paso 2: comprobar el entorno

Amazon EMR opera como parte de un ecosistema de servicios web y software de código abierto. Lo que afecta a dichas dependencias pueden influir en el rendimiento de Amazon EMR.

Comprobar las interrupciones de servicio

Amazon EMR utiliza varios servicios de Amazon Web Services internamente. Ejecuta servidores virtuales en Amazon EC2, almacena datos y scripts en Amazon S3 e informa de las métricas a CloudWatch. Los eventos que interrumpen estos servicios son poco frecuentes, pero, cuando se producen, pueden provocar problemas en Amazon EMR.

Antes de continuar, compruebe el Panel de estado del servicio. Compruebe la región en la que lanzó el clúster para ver si hay interrupciones en alguno de estos servicios.

Comprobar los límites de uso

Si va a lanzar un clúster grande, ha lanzado varios clústeres simultáneamente o es un usuario que comparte una Cuenta de AWS con otros usuarios, es posible que el clúster haya fallado porque ha superado el límite de servicio de AWS.

Amazon EC2 limita el número de instancias de servidores virtuales que se ejecutan en una sola región AWS a 20 instancias reservadas o bajo demanda. Si lanza un clúster con más de 20 nodos o lanza un clúster que hace que el número total de instancias de EC2 activas en la Cuenta de AWS supere las 20, el clúster no podrá lanzar todas las instancias de EC2 que necesita y podría fallar. Cuando esto ocurre, Amazon EMR devuelve un error EC2 QUOTA EXCEEDED. Puede solicitar que AWS aumente el número de instancias de EC2 que puede ejecutar en su cuenta. Para ello, solicite un aumento de límite de instancias de Amazon EC2.

Otro factor que puede provocar que supere los límites de uso es el retraso que transcurre entre la finalización de un clúster y el momento en que libera todos sus recursos. En función de las diferencias de configuración, un clúster puede tardar entre 5 y 20 minutos terminar por completo y liberar los recursos asignados. Si aparece un error EC2 QUOTA EXCEEDED al intentar lanzar un clúster, puede deberse a que aún no se hayan liberado los recursos de un clúster terminado recientemente. En este caso, puede solicitar un aumento de la cuota de Amazon EC2 o puede esperar 20 minutos y volver a lanzar el clúster.

Amazon S3 limita el número de buckets creados en una cuenta a 100. Si el clúster crea un bucket nuevo que supera este límite, se producirá un error en la creación del bucket y es posible que el clúster falle.

Comprobar la versión

Compare la etiqueta de versión que ha usado para lanzar el clúster con la última versión de Amazon EMR. Cada versión de Amazon EMR incorpora mejoras, como nuevas aplicaciones, características, parches y errores corregidos. Puede que el problema que afecta a su clúster ya se haya solucionado en la última versión. Si es posible, vuelva a ejecutar el clúster con la versión más reciente.

Comprobar la configuración de subredes de Amazon VPC

Si el clúster se lanzó en una subred de Amazon VPC, la subred debe configurarse como se describe en Configuración de redes en una VPC para Amazon EMR. Además, compruebe que la subred en la que lanza el clúster tenga suficientes direcciones IP elásticas libres para asignar una a cada nodo del clúster.