Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Activation de la journalisation continue pour les tâches AWS Glue 4.0 et versions antérieures

Vous pouvez activer la journalisation continue à l’aide de la console AWS Glue ou par le biais de l’AWS Command Line Interface (AWS CLI).

Vous pouvez activer la journalisation continue lorsque vous créez une tâche, modifiez une tâche existante, ou vous pouvez l’activer via l’AWS CLI.

Vous pouvez également spécifier des options de configuration personnalisées telles que le nom du groupe de journaux Amazon CloudWatch, le préfixe de flux de journaux CloudWatch avant l’ID du programme d’exécution/pilote de l’ID d’exécution de tâche AWS Glue, et le modèle de conversion de journal pour les messages de journal. Ces configurations vous aident à définir des journaux d’agrégation dans des groupes de journaux CloudWatch personnalisés avec différentes stratégies d’expiration et à les analyser plus en détail à l’aide de préfixes de flux de journaux et de modèles de conversions personnalisés.

Utilisation de l’AWS Management Console

Suivez les étapes ci-dessous pour utiliser la console afin d’activer la journalisation continue lors de la création ou de la modification d’une tâche AWS Glue.

Utilisation de l AWS CLI

Pour activer la journalisation continue, vous transmettez des paramètres de tâches à une tâche AWS Glue. Transmettez les paramètres des tâches spéciales suivantes similaires à d’autres paramètres d’une tâche AWS Glue. Pour plus d’informations, consultez Utilisation des paramètres des tâches dans les tâches AWS Glue.

'--enable-continuous-cloudwatch-log': 'true'

Vous pouvez spécifier un nom de groupe de journaux Amazon CloudWatch personnalisé. Si aucune valeur n’est spécifiée, le nom par défaut du groupe de journaux est /aws-glue/jobs/logs-v2.

'--continuous-log-logGroup': 'custom_log_group_name'

Vous pouvez spécifier un préfixe de flux de journal Amazon CloudWatch personnalisé. Si aucune valeur n’est spécifiée, le préfixe de flux de journal par défaut est l’ID d’exécution du travail.

'--continuous-log-logStreamPrefix': 'custom_log_stream_prefix'

Vous pouvez spécifier un modèle de conversion de journalisation continue personnalisé. Si aucune valeur n’est spécifiée, le modèle de conversion par défaut est %d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n. Notez que le modèle de conversion s’applique uniquement aux journaux des pilotes et des programmes d’exécution. Cela n’affecte pas la barre de progression AWS Glue.

'--continuous-log-conversionPattern': 'custom_log_conversion_pattern'

Journalisation des messages spécifiques aux applications à l’aide de l’enregistreur de script personnalisé

Vous pouvez utiliser l’enregistreur AWS Glue pour consigner tous les messages spécifiques à l’application dans le script qui sont envoyés en temps réel au flux de journaux du pilote.

L’exemple suivant illustre un script Python.

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)
logger = glueContext.get_logger()
logger.info("info message")
logger.warn("warn message")
logger.error("error message")

L’exemple suivant illustre un script Scala.

import com.amazonaws.services.glue.log.GlueLogger

object GlueApp {
  def main(sysArgs: Array[String]) {
    val logger = new GlueLogger
    logger.info("info message")
    logger.warn("warn message")
    logger.error("error message")
  }
}

Activation de la barre de progression pour afficher la progression d’une tâche

AWS Glue fournit une barre de progression en temps réel dans le cadre du flux de journaux JOB_RUN_ID-progress-bar pour vérifier le statut d’exécution d’une tâche AWS Glue. Actuellement, il prend en charge uniquement les tâches qui initialisent glueContext. Si vous exécutez une tâche Spark pure sans initialiser glueContext, la barre de progression AWS Glue ne s’affiche pas.

La barre de progression indique une mise à jour de la progression suivante toutes les 5 secondes.

Stage Number (Stage Name): > (numCompletedTasks + numActiveTasks) / totalNumOfTasksInThisStage]

Configuration de sécurité avec la journalisation continue

Si une configuration de sécurité est activée pour CloudWatch Logs, AWS Glue créera un groupe de journaux nommé comme suit pour les journaux continus :

<Log-Group-Name>-<Security-Configuration-Name>

Les groupes de journaux par défaut et personnalisés seront les suivants :

Vous devez ajouter la logs:AssociateKmsKey à vos autorisations de rôle IAM, si vous activez une configuration de sécurité avec CloudWatch Logs. Si cette autorisation n’est pas incluse, la journalisation continue sera désactivée. En outre, pour configurer le chiffrement des CloudWatch Logs, suivez les instructions à l’adresse Encrypt Log Data in CloudWatch Logs Using AWS Key Management Service dans le Guide de l’utilisateur Amazon CloudWatch Logs.

Pour plus d’informations sur la création de configurations de sécurité, veuillez consulter Gestion des configurations de sécurité sur la console AWS Glue.