Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Surveillance des tâches Spark AWS Glue
Rubriques
Spark Metrics est disponible dans AWS Glue Studio
L'onglet Metrics (Métriques) montre les métriques collectées lorsqu'une tâche s'exécute et que le profilage est activé. Les graphiques suivants sont affichés dans les tâches Spark :
Déplacement de données ETL
Profil de la mémoire : pilote et programmes d'exécution
Choisissez View Additional Metrics (Afficher des métriques supplémentaires) pour afficher les graphiques suivants :
Déplacement de données ETL
Profil de la mémoire : pilote et programmes d'exécution
Remaniement de données sur les programmes d'exécution
Chargement de l'UC : pilote et programmes d'exécution
Exécution de tâche : programmes d'exécution actifs, étapes achevées et nombre de programmes d'exécution maximum nécessaires
Les données de ces graphiques sont transférées vers CloudWatch des métriques si la tâche est configurée pour collecter des métriques. Pour plus d'informations sur l'activation de métriques et l'interprétation de graphiques, veuillez consulter Surveillance et débogage des tâches.
Exemple Graphique du déplacement de données ETL
Le graphique du Déplacement de données ETL montre les métriques suivantes :
Le nombre d'octets lus à partir d'Amazon S3 par tous les programmes d'exécution—glue.ALL.s3.filesystem.read_bytes
-
Le nombre d'octets écrits à partir d'Amazon S3 par tous les programmes d'exécution – glue.ALL.s3.filesystem.write_bytes
Exemple Graphique du profil de mémoire
Le graphique du profil de la mémoire montre les métriques suivantes :
La portion de mémoire utilisée par la pile de la JVM pour ce pilote (mise à l'échelle : 0-1) par le pilote, un programme d'exécution identifié par executorId ou tous les exécuteurs –
Exemple Graphique de remaniement de données sur les programmes d'exécution
Le graphique de remaniement de données sur les programmes d'exécution montre les métriques suivantes :
Le nombre d'octets lus par tous les programmes d'exécution pour remanier des données sur ceux-ci - glue.driver.aggregate.shuffleLocalBytesRead
-
Le nombre d'octets écrits par tous les programmes d'exécution pour remanier des données sur ceux-ci - glue.driver.aggregate.shuffleBytesWritten
Exemple Graphique de chargement de l'UC
Le graphique de chargement de l'UC montre les métriques suivantes :
La fraction de la charge du système CPU utilisée (mise à l'échelle : 0-1) par le pilote, un programme d'exécution identifié par executorId ou tous les exécuteurs –
Exemple Graphique d'exécution de tâche
Le graphique d'exécution de tâche montre les métriques suivantes :
Le nombre de programmes d'exécution actifs en cours d'exécution - glue.driver.ExecutorAllocationManager.executors.numberAllExecutors
Le nombre d'étapes terminées - glue.aggregate.numCompletedStages
Le nombre maximum de programmes d'exécution nécessaires - glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors
