Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Estrategias para ajustar el rendimiento de los trabajos de Spark
Cuando se prepare para ajustar los parámetros, siga las siguientes prácticas recomendadas:
-
Determine sus objetivos de rendimiento antes de empezar a identificar los problemas.
-
Utilice las métricas para identificar los problemas antes de intentar cambiar los parámetros de ajuste.
Para obtener resultados más consistentes al afinar un trabajo, desarrolle una estrategia básica para su trabajo de ajuste.
Estrategia básica para ajustar el rendimiento
Por lo general, el ajuste del rendimiento se realiza en el siguiente flujo de trabajo:
-
Determine los objetivos de rendimiento.
-
Mida las métricas.
-
Identifique los cuellos de botella.
-
Reduzca el impacto de los cuellos de botella.
-
Repita los pasos 2 a 4 hasta alcanzar el objetivo deseado.
En primer lugar, determine sus objetivos de rendimiento. Por ejemplo, uno de tus objetivos podría ser completar la ejecución de un AWS Glue trabajo en un plazo de 3 horas. Después de definir los objetivos, mida las métricas de rendimiento de los trabajos. Identifique las tendencias en las métricas y los cuellos de botella para cumplir con los objetivos. En particular, identificar los cuellos de botella es lo más importante para la solución de problemas, la depuración y el ajuste del rendimiento. Durante la ejecución de una aplicación de Spark, Spark registra el estado y las estadísticas de cada tarea en el registro de eventos de Spark.
En AWS Glue, puedes ver las métricas de Spark a través de la interfaz web de Spark
Una vez que determine sus objetivos de rendimiento e identifique las métricas para evaluarlos, puede empezar a identificar y corregir los cuellos de botella mediante las estrategias que se describen en las siguientes secciones.
Prácticas para ajustar el rendimiento de los trabajos de Spark
Puedes usar las siguientes estrategias para ajustar AWS Glue el rendimiento de los trabajos de Spark:
-
AWS Glue recursos:
-
Aplicaciones de Spark:
Antes de usar estas estrategias, debe tener acceso a las métricas y la configuración de su trabajo de Spark. Puede encontrar esta información en la documentación de AWS Glue.
Desde la perspectiva de los AWS Glue recursos, puede lograr mejoras en el rendimiento añadiendo AWS Glue trabajadores y utilizando la última AWS Glue versión.
Desde la perspectiva de las aplicaciones de Apache Spark, tiene acceso a varias estrategias que pueden mejorar el rendimiento. Si se cargan datos innecesarios en el clúster de Spark, puede eliminarlos para reducir la cantidad de datos cargados. Si has infrautilizado los recursos del clúster de Spark y tienes pocos datos I/O, puedes identificar las tareas para paralelizarlas. También es posible que desee optimizar las operaciones de transferencia de datos pesados, como las uniones, si requieren mucho tiempo. También puede optimizar el plan de consultas del trabajo o reducir la complejidad computacional de las tareas individuales de Spark.
Para aplicar estas estrategias de manera eficiente, debe consultar las métricas para identificar cuándo son aplicables. Para obtener más detalles, consulte las siguientes secciones. Estas técnicas funcionan no solo para ajustar el rendimiento, sino también para resolver problemas típicos, como los errores de falta de memoria (OOM).
