Limitación de errores con un clúster de Amazon EMR
Los errores “Limitado desde Amazon EC2 al lanzar el clúster” y “No se pudieron aprovisionar las instancias debido a la limitación de Amazon EC2” se producen cuando Amazon EMR no puede completar una solicitud porque otro servicio ha limitado la actividad. Amazon EC2 es el origen más habitual de errores de limitación, pero otros servicios pueden ser la causa de estos errores. Los límites de servicio de AWS se aplican por región para mejorar el rendimiento, y un error de limitación indica que ha superado el límite de servicio de su cuenta en esa región.
Causas posibles
El origen más habitual de errores de limitación de Amazon EC2 es que se está lanzando un gran número de instancias de clúster, de modo que se supera el límite de servicio de instancias de EC2. Las instancias de clúster pueden lanzarse por las siguientes razones:
Se han creado nuevos clústeres.
Se ha cambiado manualmente el tamaño de los clústeres. Para obtener más información, consulte Cambio manual del tamaño de un clúster de Amazon EMR en ejecución.
Los grupos de instancias en un clúster añaden instancias (escalado) como resultado de una regla de escalado automático. Para obtener más información, consulte Descripción de las reglas de escalado automático.
Las flotas de instancia de un clúster añaden instancias para satisfacer una mayor capacidad de destino. Para obtener más información, consulte Planificación y configuración de flotas de instancias para su clúster de Amazon EMR.
También es posible que la frecuencia o el tipo de solicitud de API hecha a Amazon EC2 provoque errores de limitación. Para obtener más información sobre cómo limita Amazon EC2 las solicitudes de API, consulte Tasa de solicitudes de la API de consulta en la Referencia de la API de Amazon EC2.
Soluciones
Tenga en cuenta las soluciones siguientes:
Siga las instrucciones de AWS Service Quotas en Referencia general de Amazon Web Services para solicitar un aumento del límite de servicio. Para algunas API, configurar un evento de CloudWatch puede ser una mejor opción que aumentar los límites. Para obtener más información, consulta Cuándo configurar los eventos de EMR en CloudWatch.
Si tiene clústeres que se lanzan según una misma programación (por ejemplo, al final de una hora), considere la posibilidad de escalonar las horas de inicio.
Si tiene clústeres que están dimensionados para picos de demanda y periódicamente tiene problemas de capacidad de la instancia, considere la posibilidad de especificar el escalado automático para añadir y eliminar instancias bajo demanda. De esta forma, las instancias se utilizan de manera más eficiente y, en función del perfil de la demanda, es posible que se soliciten menos instancias en un momento dado en una cuenta. Para obtener más información, consulte Uso del escalado automático con una política personalizada para grupos de instancias en Amazon EMR.
