Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Características y capacidades
Plataformas admitidas
-
Lenguajes: aplicaciones Python y Scala Spark
-
Plataformas de destino: Amazon EMR, EMR Serverless y Glue AWS
Cómo funciona
Cuando tu aplicación Spark falle, puedes usar el agente de solución de problemas para investigar automáticamente qué ha fallado. Analiza los registros de eventos, los mensajes de error y el uso de recursos de Spark para identificar el problema exacto, ya sea que el ejecutor de Spark se quede sin memoria, un error de configuración o un error de código.
Cuando le pides a un mensaje en lenguaje natural que analice tu carga de trabajo en Spark, el agente se conecta a los recursos de tu plataforma y extrae funciones (entre las que se incluyen los registros de eventos de Spark, los planes de consultas, los cronogramas de los ejecutores, el seguimiento de los registros, las configuraciones y las métricas):
-
En EMR-EC2: se conecta a la interfaz de usuario persistente de EMR para el clúster
-
On Glue: crea el contexto de la interfaz de usuario de Spark de Glue Studio para el trabajo
-
En EMR-Serverless: se conecta a EMR-Serverless Spark History Server para realizar el trabajo
-
El agente también analiza las trazas de la pila de errores y los detalles de configuración para proporcionarte información útil.
En el caso de las cargas de trabajo fallidas, obtendrá una explicación clara de la causa raíz y pasos específicos para solucionarla. Si el agente detecta un problema relacionado con el código, proporciona automáticamente recomendaciones de código para mostrarle exactamente qué es lo que debe cambiar en el código. También puedes solicitar sugerencias a nivel de código directamente en cualquier momento sin necesidad de realizar un análisis completo.
Regiones disponibles
El agente de solución de problemas de Spark está disponible en las siguientes regiones:
-
Asia-Pacífico: Tokio (ap-northeast-1), Seúl (ap-northeast-2), Singapur (ap-southeast-1), Sídney (ap-southeast-2) y Bombay (ap-south-1)
-
América del Norte: Canadá (ca-central-1)
-
Europa: Estocolmo (eu-north-1), Irlanda (eu-west-1), Londres (eu-west-2), París (eu-west-3) y Frankfurt (eu-central-1)
-
América del Sur: São Paulo (sa-east-1)
-
Estados Unidos: norte de Virginia (us-east-1), Ohio (us-east-2) y Oregón (us-west-2)
Alcance de la solución de problemas de Spark y requisitos de usuario
-
Estados de carga de trabajo de Spark compatibles: las herramientas solo admitirán respuestas para cargas de trabajo de Spark fallidas.
-
Interfaz de usuario persistente de EMR: al analizar las EC2 cargas de trabajo de Amazon EMR, la herramienta de análisis intentará conectarse a la interfaz de usuario persistente de EMR para recuperar la información clave de Spark. Las consideraciones sobre la interfaz de usuario persistente de EMR se documentan aquí.
-
Interfaz de usuario de Glue Studio Spark: al analizar las cargas de trabajo de AWS Glue, la herramienta de análisis intentará recuperar la información clave de Spark analizando los registros de eventos de Spark del usuario de Amazon S3. El tamaño máximo permitido del registro de eventos de Spark está documentado aquí: 512 MB y 2 GB para los registros sucesivos.
-
Recomendaciones de código: solo es compatible con las cargas de trabajo Amazon EMR y EC2 AWS Glue para cargas de trabajo PySpark
-
Recursos regionales: el agente de solución de problemas de Spark es regional y utiliza los recursos de EMR subyacentes de esa región para el proceso de solución de problemas. No se admite la solución de problemas entre regiones.
