Monitoraggio e debug dei processi

Abilitare i parametri:

1. Abilitare l'opzione Job metrics (Parametri processo) nella definizione del processo. È possibile abilitare la profilatura nella console AWS Glue o come parametro per il processo. Per ulteriori informazioni, consultare Definire le proprietà di processo per i processi Spark o Utilizzo dei parametri del lavoro nei lavori AWS Glue.

2. Abilita l'opzione Parametri AWS Glue di osservabilità nella definizione del processo. È possibile abilitare l'osservabilità nella console AWS Glue o come parametro per il processo. Per ulteriori informazioni, consulta Monitoraggio con parametri AWS Glue di osservabilità.

Verificare che lo script del processo inizializzi un oggetto GlueContext. Il frammento di script seguente inizializza ad esempio un oggetto GlueContext e mostra dove viene inserito il codice profilato nello script. Questo formato generale viene usato negli scenari di debug seguenti.

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import time

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

...
...
code-to-profile
...
...


job.commit()  

Esegui il processo.

Visualizzare i parametri:

1. Visualizza i parametri nella console AWS Glue e identifica quelli anomali per il driver o per un executor.

2. Controlla le metriche di osservabilità nella pagina di monitoraggio del Job run, nella pagina dei dettagli del job run o su Amazon. CloudWatch Per ulteriori informazioni, consulta Monitoraggio con parametri AWS Glue di osservabilità.

Risalire alla causa principale usando il parametro identificato.

Facoltativamente, confermare la causa principale usando il flusso di log del driver o dell'executor del processo identificato.