Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Abilitazione della registrazione continua di lavori AWS Glue, 4.0 o precedenti

Puoi abilitare la registrazione continua utilizzando la console AWS Glue o attraverso la AWS Command Line Interface (AWS CLI).

Puoi abilitare la registrazione continua al momento della creazione di un nuovo processo e della modifica di un processo esistente oppure puoi abilitarla attraverso la AWS CLI.

È inoltre possibile specificare le opzioni di configurazione personalizzate, ad esempio il nome del gruppo di log Amazon CloudWatch, il prefisso del flusso di log CloudWatch prima dell'ID di esecuzione del processo/ID esecuzione di AWS Glue e del modello di conversione log per i messaggi di log. Queste configurazioni consentono di impostare i log aggregati nei gruppi di log CloudWatch personalizzati con policy di scadenza diverse e di analizzarli ulteriormente con i prefissi personalizzati del flusso di log e i modelli di conversione.

Utilizzo di Console di gestione AWS

Segui questi passaggi per utilizzare la console per abilitare la registrazione continua durante la creazione o la modifica di un processo AWS Glue.

Utilizzo di AWS CLI

Per abilitare la registrazione continua, trasferisci i parametri del processo a un processo AWS Glue. Trasferisci i seguenti parametri del processo specifici simili ad altri parametri del processo AWS Glue. Per ulteriori informazioni, consulta Utilizzo dei parametri del lavoro nei lavori AWS Glue.

'--enable-continuous-cloudwatch-log': 'true'

È possibile specificare un nome di gruppo di log Amazon CloudWatch personalizzato. Se non specificato, il nome predefinito del gruppo di log è /aws-glue/jobs/logs-v2.

'--continuous-log-logGroup': 'custom_log_group_name'

È possibile specificare un prefisso del flusso di log Amazon CloudWatch personalizzato. Se non specificato, il prefisso del flusso di log predefinito è l'ID di esecuzione del processo.

'--continuous-log-logStreamPrefix': 'custom_log_stream_prefix'

È possibile specificare un modello di conversione di registrazione continua personalizzato. Se non specificato, il modello di conversione predefinito è %d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n. Tieni presente che il modello di conversione si applica solo ai log dei driver e ai log delle esecuzioni. Non interessa la barra di avanzamento di AWS Glue.

'--continuous-log-conversionPattern': 'custom_log_conversion_pattern'

Registrazione di messaggi specifici di applicazioni tramite logger di script personalizzato

Puoi utilizzare il logger AWS Glue per registrare nello script qualsiasi messaggio specifico di applicazioni inviato in tempo reale al flusso di log di driver.

Il seguente esempio mostra uno script Python.

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)
logger = glueContext.get_logger()
logger.info("info message")
logger.warn("warn message")
logger.error("error message")

Il seguente esempio mostra uno script Scala.

import com.amazonaws.services.glue.log.GlueLogger

object GlueApp {
  def main(sysArgs: Array[String]) {
    val logger = new GlueLogger
    logger.info("info message")
    logger.warn("warn message")
    logger.error("error message")
  }
}

Abilitazione della barra di avanzamento per visualizzare l'avanzamento del processo

AWS Glue fornire una barra di avanzamento del processo in tempo reale sotto il flusso di log JOB_RUN_ID-progress-bar per controllare lo stato dell'esecuzione del processo AWS Glue. Al momento, supporta solo i processi che inizializzano glueContext. Se esegui un semplice processo Spark senza inizializzare glueContext, la barra di avanzamento AWS Glue non viene visualizzata.

La barra di avanzamento mostra il seguente aggiornamento dell'avanzamento ogni 5 secondi.

Stage Number (Stage Name): > (numCompletedTasks + numActiveTasks) / totalNumOfTasksInThisStage]

Configurazione di sicurezza con la registrazione continua.

Se è abilitata una configurazione di sicurezza per i log CloudWatch, AWS Glue creerà un gruppo di log denominato come segue per i registri continui:

<Log-Group-Name>-<Security-Configuration-Name>

I gruppi di log predefiniti e personalizzati saranno i seguenti:

Se si abilita una configurazione di sicurezza con CloudWatch Logs, è necessario aggiungere logs:AssociateKmsKey alle autorizzazioni del ruolo IAM. Se tale autorizzazione non è inclusa, la registrazione continua verrà disabilitata. Inoltre, per configurare la crittografia per CloudWatch Logs, segui le istruzioni in Crittografia dei dati di log in CloudWatch Logs utilizzando AWS Key Management Service nella Guida per l'utente di Amazon CloudWatch Logs.

Per ulteriori informazioni sulla creazione delle configurazioni di sicurezza, consulta Gestire le configurazioni di sicurezza nella console AWS Glue.