Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Journalisation des tâches AWS Glue

Dans AWS Glue 5.0, toutes les tâches disposent de fonctionnalités de journalisation en temps réel. En outre, vous pouvez spécifier des options de configuration personnalisées pour personnaliser le comportement de la journalisation. Ces options incluent la définition du nom du groupe de journaux Amazon CloudWatch, du préfixe de flux de journaux Amazon CloudWatch (qui précédera l’ID d’exécution de la tâche AWS Glue et l’ID du programme d’exécution/pilote) et le modèle de conversion de journal pour les messages de journal. Ces configurations vous permettent d’agréger les journaux dans des groupes de journaux Amazon CloudWatch personnalisés avec différentes politiques d’expiration. En outre, vous pouvez analyser les journaux plus efficacement en utilisant des préfixes de flux de journaux et des modèles de conversion personnalisés. Ce niveau de personnalisation vous permet d’optimiser la gestion et l’analyse des journaux en fonction de vos besoins spécifiques.

Comportement de journalisation dans AWS Glue 5.0

Par défaut, les journaux système, les journaux de démon Spark et les journaux des utilisateurs AWS Glue Logger sont écrits dans le groupe de journaux /aws-glue/jobs/error dans Amazon CloudWatch. D’autre part, les journaux utilisateur stdout (sortie standard) et stderr (erreur standard) sont écrits dans le groupe de journaux /aws-glue/jobs/output par défaut.

Journalisation personnalisée

Vous pouvez personnaliser le groupe de journaux par défaut et les préfixes de flux de journaux à l’aide des arguments de tâche suivants :

Règles de validation et restrictions relatives aux préfixes personnalisés :

Journalisation des messages spécifiques aux applications à l’aide de l’enregistreur de script personnalisé

Vous pouvez utiliser l’enregistreur AWS Glue pour consigner tous les messages spécifiques à l’application dans le script qui sont envoyés en temps réel au flux de journaux du pilote.

L’exemple suivant illustre un script Python.

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)
logger = glueContext.get_logger()
logger.info("info message")
logger.warn("warn message")
logger.error("error message")

L’exemple suivant illustre un script Scala.

import com.amazonaws.services.glue.log.GlueLogger

object GlueApp {
  def main(sysArgs: Array[String]) {
    val logger = new GlueLogger
    logger.info("info message")
    logger.warn("warn message")
    logger.error("error message")
  }
}

Activation de la barre de progression pour afficher la progression d’une tâche

AWS Glue fournit une barre de progression en temps réel dans le cadre du flux de journaux JOB_RUN_ID-progress-bar pour vérifier le statut d’exécution d’une tâche AWS Glue. Actuellement, il prend en charge uniquement les tâches qui initialisent glueContext. Si vous exécutez une tâche Spark pure sans initialiser glueContext, la barre de progression AWS Glue ne s’affiche pas.

La barre de progression indique une mise à jour de la progression suivante toutes les 5 secondes.

Stage Number (Stage Name): > (numCompletedTasks + numActiveTasks) / totalNumOfTasksInThisStage]

Configuration de sécurité avec la journalisation Amazon CloudWatch

Lorsqu’une configuration de sécurité est activée pour les journaux Amazon CloudWatch, AWS Glue crée des groupes de journaux avec des modèles de dénomination spécifiques qui incorporent le nom de la configuration de sécurité.

Dénomination des groupes de journaux avec configuration de sécurité

Les groupes de journaux par défaut et personnalisés seront les suivants :

Autorisations IAM nécessaires

Vous devez ajouter l’autorisation logs:AssociateKmsKey à vos autorisations de rôle IAM, si vous activez une configuration de sécurité avec Amazon CloudWatch Logs. Si cette autorisation n’est pas incluse, la journalisation continue sera désactivée.

En outre, pour configurer le chiffrement des Amazon CloudWatch Logs, suivez les instructions de Encrypt Log Data in Amazon CloudWatch Logs Using AWS Key Management Service dans le Guide de l’utilisateur Amazon CloudWatch Logs.

Informations supplémentaires

Pour plus d’informations sur la création de configurations de sécurité, consultez Managing security configurations on the AWS Glue console.