Comprendre les journaux rédigés

Horaires  : les durées des tâches et des étapes, le temps d'exécution, le temps du processeur, le temps de collecte des déchets, le temps de désérialisation et de sérialisation des résultats, le temps d'attente du shuffle et le temps d'écriture du shuffle sont tous exactement préservés. Les chronométrages constituent le principal signal pour l'analyse des performances.

Identifiants et comptes d'exécution Spark  : ID des tâches, des étapes, des tâches et des tentatives, nombre de partitions, comptes de tâches, ID d'exécuteur, noms d'hôtes et ports.

Structure du plan de requête  : arborescence du plan physique, y compris les noms d'opérateurs tels que HashAggregate SortMergeJoinExchange, et, afin que vous puissiez voir la forme du plan et la manière dont le moteur a choisi d'exécuter votre requête. Un nom d'opérateur qui n'est pas propre à Spark apparaît sous la forme[REDACTED].

Noms des colonnes sources  : noms de colonnes provenant d'une table en cours d'analyse, afin que vous puissiez voir quelles colonnes sont utilisées dans les filtres, les jointures et les agrégations. Les noms créés par une requête, tels qu'un alias, ne sont pas conservés. Pour de plus amples informations, veuillez consulter Comment les noms de colonnes et de tables sont traités.

Type de numérisation et format de fichier  : un opérateur de numérisation inclut généralement le nom de la table en cours de lecture. Le nom est remplacé par un formulaire qui identifie uniquement le type de numérisation et le format de fichier, par exempleScan parquet, afin que vous puissiez toujours savoir comment les données sont lues. Si le format de fichier n'est pas AWS Clean Rooms reconnu, l'opérateur apparaît comme Scan étant sans format.

Classes d'erreur  : lorsqu'une requête échoue, les journaux identifient le type d'erreur, mais pas les données qui l'ont provoquée. Ils signalent la classe d'erreur de Spark, son code SQLSTATE et le message standard que Spark définit pour cette classe, les <placeholder> jetons du message étant laissés vides, car les valeurs qui les rempliraient proviennent des données. Un transfert qui a échoué, par exemple, génère des rapports [CAST_INVALID_INPUT] et un message décrivant qu'une valeur d'un type ne peut pas être convertie en un autre, sans afficher la valeur. Lorsqu'une panne en entraîne une autre, les classes d'erreur de la chaîne sont signalées ensemble, jusqu'à quelques niveaux. Une panne qui ne provient pas de Spark est signalée uniquement comme une erreur non liée à Spark, sans classe.

Les échecs de tâches individuelles ne signalent que le type d'échec, par exempleExceptionFailure. Ils ne possèdent pas de classe d'erreur qui leur est propre.

Configuration Spark  : paramètres dont les valeurs sont toujours des nombres, des tailles ou des mots clés fixes, et qui sont le plus souvent nécessaires pour diagnostiquer un problème de performances : cœurs et mémoire du pilote et de l'exécuteur, fractions de mémoire et paramètres hors tas, paramètres d'allocation dynamique, paramètres d'exécution des requêtes adaptatifs, parallélisme par défaut et nombre de partitions aléatoires, seuil de jointure de diffusion, taille de partition maximale, paramètres de compression aléatoire, mode planificateur et sérialiseur. La plupart des autres configurations sont expurgées, car les paramètres peuvent contenir des chemins, des identifiants et du texte de requête. L'un de ces paramètres est également omis si sa valeur n'est pas un simple chiffre, une taille ou un mot clé.

Utilisation de la mémoire et volumes de données  : mémoire d'exécution maximale, perte de mémoire et de disque, mémoire JVM de l'exécuteur, tailles des données mises en cache, nombre de blocs de lecture aléatoire et nombre d'octets et d'enregistrements lus et écrits, y compris les volumes de lecture et d'écriture aléatoires. Ces chiffres sont arrondis à la baisse plutôt qu'exacts. Pour de plus amples informations, veuillez consulter En quoi les journaux expurgés diffèrent-ils des journaux Spark standard.

Pourquoi un exécuteur s'est arrêté  : catégorie pour chaque exécuteur qui s'est arrêté, par exemple parce qu'il manque de mémoire, qu'il a été arrêté par le pilote, qu'il a été mis hors service ou qu'il n'a pas répondu. C'est souvent le moyen le plus rapide d'expliquer pourquoi une requête a échoué. Les journaux enregistrent également tout exécuteur ou hôte sur lequel Spark a arrêté de planifier le travail, ce qui est utile lorsque les pannes se reproduisent au même endroit. Pour de plus amples informations, veuillez consulter En quoi les journaux expurgés diffèrent-ils des journaux Spark standard.

Détail de l'échec de l'extraction aléatoire  : lorsqu'une tâche ne peut pas récupérer une sortie aléatoire, les identifiants shuffle, map, map index et reduce sont préservés, ainsi que l'exécuteur et l'hôte sur lesquels l'extraction a été tentée. Cela vous permet de distinguer les défaillances répétées concernant une seule source, ce qui indique généralement un exécuteur qui ne répond pas, des défaillances réparties sur de nombreuses sources, qui indiquent généralement des problèmes de réseau transitoires.

Valeurs de données  : valeurs littérales issues de votre requête et valeurs de données provenant de n'importe quelle table. Un prédicat de filtre indique quelle colonne a été filtrée mais pas la valeur à laquelle elle a été comparée.

Noms des tables et emplacements de stockage  : identificateurs de tables, noms de bases de données et chemins Amazon S3.

Texte de la requête  : instruction SQL et toute description associée à la requête.

Texte du message d'erreur et traces de pile  : étant donné qu'un message d'erreur peut citer la valeur à l'origine de l'erreur, le texte du message et les traces de pile sont supprimés. Le nom de la classe d'exceptions sous-jacente est également supprimé, car une exception levée par une fonction définie par l'utilisateur porte un nom choisi par l'auteur de la requête. La classe d'erreur Spark est préservée à la place, pour la requête et la tâche. La raison pour laquelle une étape a échoué et la raison pour laquelle une tâche a été supprimée sont également supprimées.

Noms que Spark enregistre pour son propre travail  : noms et sites d'appel des stages et des ensembles de données mis en cache, ainsi que le nom de l'application. Il s'agit de champs en texte libre qui peuvent faire écho à un nom de table ou à un chemin de stockage. Dans Spark History Server, les étapes apparaissent donc sans les descriptions qui les identifieraient normalement, et vous localisez une étape par son identifiant et sa place dans le plan.

Noms de colonnes calculés et aliasés  : noms créés par une requête au lieu de les lire dans une table, car le moteur de requête génère un tel nom à partir de l'expression et ce nom peut contenir une valeur. Ils apparaissent sous la forme d'un identifiant numérique tel que#42. Pour de plus amples informations, veuillez consulter Comment les noms de colonnes et de tables sont traités.

Détail du scan  : schéma de lecture, prédicats de filtre appliqués à chaque scan (filtres déroulants, filtres de partition et filtres de données) et emplacement des données.

Liens vers les journaux du pilote et de l'exécuteur  : URL des journaux que Spark enregistre pour chaque exécuteur et pour le pilote. Dans Spark History Server, les liens qui ouvriraient normalement le journal d'un pilote ou d'un exécuteur ne sont pas renseignés.

Identifiants de ressources et points de terminaison des services  : ID de AWS compte, ARN tels que ceux des rôles et des AWS KMS clés IAM, et URL des points de terminaison des services qui AWS Clean Rooms appellent pour exécuter votre requête.

AWS détails du service  : noms AWS Clean Rooms de classe, entrées de chemin de classe, configuration de la JVM, propriétés de Hadoop et du système. Les propriétés des tâches sont également supprimées, à l'exception des identifiants dont Spark History Server a besoin pour associer les tâches à l'exécution de la requête à laquelle elles appartiennent.