Entender los registros redactados

Tiempos: la duración de las tareas y etapas, el tiempo de ejecución, el tiempo de CPU, el tiempo de recolección de basura, el tiempo de deserialización y serialización de los resultados, el tiempo de espera aleatorio y el tiempo de escritura aleatoria se conservan con exactitud. Los tiempos son la principal señal para el análisis del rendimiento.

Identificadores y recuentos de ejecuciones de Spark: identificadores de trabajos, etapas, tareas e intentos, recuentos de particiones, recuentos de tareas, identificadores de ejecutores, nombres de host y puertos.

Estructura del plan de consultas: el árbol del plan físico, que incluye los nombres de los operadores HashAggregateSortMergeJoin, comoExchange,, y, para que puedas ver la forma del plan y la forma en que el motor decidió ejecutar la consulta. Un nombre de operador que no es el de Spark aparece como[REDACTED].

Nombres de las columnas de origen: los nombres de las columnas provienen de una tabla que se está escaneando, para que puedas ver qué columnas se utilizan en los filtros, las uniones y las agregaciones. Los nombres que crea una consulta, como un alias, no se conservan. Para obtener más información, consulte Cómo se tratan los nombres de las columnas y las tablas.

Tipo de escaneo y formato de archivo: un operador de escaneo normalmente incluye el nombre de la tabla que se está leyendo. El nombre se sustituye por un formulario que identifica únicamente el tipo de escaneado y el formato del archivo, por ejemploScan parquet, para que pueda seguir viendo cómo se leen los datos. Si el formato de archivo no es uno que AWS Clean Rooms reconozca, el operador aparecerá como Scan sin formato.

Clases de error: cuando se produce un error en una consulta, los registros identifican el tipo de error, pero no los datos que lo han provocado. Indican la clase de error de Spark, su código SQLSTATE y el mensaje estándar que Spark define para esa clase, mientras que los <placeholder> tokens del mensaje no se rellenan porque los valores que los rellenarían provienen de los datos. Una transmisión fallida, por ejemplo, informa [CAST_INVALID_INPUT] y envía un mensaje en el que se describe que un valor de un tipo no se puede convertir a otro sin mostrar el valor. Cuando un error provoca otro, las clases de error de la cadena se registran juntas, hasta unos pocos niveles de profundidad. Un error que no se originó en Spark solo se notifica como un error ajeno a Spark, sin clase.

Los errores de tareas individuales solo indican el tipo de error, por ejemplo. ExceptionFailure No tienen una clase de error propia.

Configuración de Spark: ajustes cuyos valores son siempre números, tamaños o palabras clave fijas y que se necesitan con mayor frecuencia para diagnosticar un problema de rendimiento: núcleos y memoria de controladores y ejecutores, fracciones de memoria y configuraciones integradas, configuración de asignación dinámica, configuración de ejecución de consultas adaptativas, paralelismo predeterminado y recuento de particiones aleatorias, umbral de unión de transmisión, tamaño máximo de partición, configuración de compresión aleatoria, modo planificador y serializador. La mayoría de las demás configuraciones están redactadas porque los ajustes pueden contener rutas, identificadores y texto de consulta. También se omite una de estas opciones si su valor no es un número, un tamaño o una palabra clave simples.

Utilización de la memoria y volúmenes de datos: memoria de ejecución máxima, pérdida de memoria y disco, memoria de la JVM ejecutora, tamaños de datos en caché, recuentos de bloques aleatorios y cantidad de bytes y registros leídos y escritos, incluidos los volúmenes de lectura y escritura aleatorios. Estas cifras están redondeadas hacia abajo en lugar de ser exactas. Para obtener más información, consulte En qué se diferencian los registros redactados de los registros estándar de Spark.

Por qué se detuvo un albacea: una categoría para cada ejecutor que paró, por ejemplo, se quedó sin memoria, fue cerrado por el conductor, fue dado de baja o no respondió. Esta suele ser la forma más rápida de explicar por qué falló una consulta. Los registros también registran cualquier ejecutor o host en el que Spark haya dejado de programar el trabajo, lo que resulta útil cuando los errores se repiten en un solo lugar. Para obtener más información, consulte En qué se diferencian los registros redactados de los registros estándar de Spark.

Detalles sobre los errores de captura aleatoria: cuando una tarea no puede obtener los resultados de la búsqueda aleatoria, se conservan los identificadores de reproducción aleatoria, mapa, índice del mapa y reducción, junto con el ejecutor y el host contra los que se intentó realizar la búsqueda. Esto le permite distinguir los errores repetidos en una sola fuente, que suelen indicar que el ejecutor no responde, de los errores repartidos en muchas fuentes, que suelen indicar problemas transitorios en la red.

Valores de datos: valores literales de la consulta y valores de datos de cualquier tabla. Un predicado de filtro muestra qué columna se filtró, pero no el valor con el que se comparó.

Nombres de tablas y ubicaciones de almacenamiento: identificadores de tablas, nombres de bases de datos y rutas de Amazon S3.

Texto de la consulta: la sentencia SQL y cualquier descripción asociada a la consulta.

El texto del mensaje de error y los rastros de la pila: dado que un mensaje de error puede indicar el valor que provocó el error, se eliminan el texto del mensaje y los rastros de la pila. El nombre de la clase de excepción subyacente también está redactado, ya que una excepción lanzada por una función definida por el usuario lleva el nombre que eligió el autor de la consulta. En su lugar, se conserva la clase de error de Spark para la consulta y el trabajo. La razón por la que falló una etapa y la razón por la que se canceló una tarea también están redactadas.

Nombres que Spark registra para su propio trabajo: los nombres y los sitios de llamadas de las etapas y los conjuntos de datos almacenados en caché, así como el nombre de la aplicación. Se trata de campos de texto libre que pueden reflejar el nombre de una tabla o una ruta de almacenamiento. Por lo tanto, en Spark History Server, las etapas aparecen sin las descripciones que normalmente las identificarían, y en su lugar se localiza una etapa por su ID y su lugar en el plan.

Nombres de columna calculados y con alias: nombres que crea una consulta en lugar de leer de una tabla, porque el motor de consultas genera ese nombre a partir de la expresión y el nombre puede contener un valor. Aparecen como un identificador numérico, por ejemplo. #42 Para obtener más información, consulte Cómo se tratan los nombres de las columnas y las tablas.

Detalles del escaneo: el esquema de lectura, los predicados de filtro aplicados en cada escaneo (filtros desplegados, filtros de particiones y filtros de datos) y la ubicación de los datos.

Enlaces a los registros de controladores y ejecutores: las URL de registro que Spark registra para cada ejecutor y para el controlador. En Spark History Server, los enlaces que normalmente abrirían un registro de controladores o ejecutores no están rellenados.

Identificadores de recursos y puntos finales de servicio: los ID de las AWS cuentas, los ARN (como los de las funciones y AWS KMS las claves de IAM) y las URL de los puntos finales de los servicios que AWS Clean Rooms llaman para ejecutar la consulta.

AWS detalles del servicio: nombres de AWS Clean Rooms clases, entradas de rutas de clases, configuración de JVM y propiedades de Hadoop y del sistema. Las propiedades de los trabajos también están redactadas, aparte de los identificadores que Spark History Server necesita para asociar los trabajos a la ejecución de la consulta a la que pertenecen.