Auftragsüberwachung und Debugging

Metriken aktivieren:

1. Aktivieren der Option Job metrics (Auftragsmetriken) in der Auftragsdefinition. Sie können die Profilierung in der AWS Glue-Konsole oder als Parameter für den Auftrag aktivieren. Weitere Informationen finden Sie unter Definieren von Auftragseigenschaften für Spark-Aufträge oder Verwendung von Auftragsparametern in AWS-Glue-Aufträgen.

2. Aktivieren der Option AWS Glue-Beobachtbarkeitsmetriken in der Auftragsdefinition. Sie können die Beobachtbarkeit in der AWS Glue-Konsole oder als Parameter für den Auftrag aktivieren. Weitere Informationen finden Sie unter Überwachung mit AWS Glue-Beobachtbarkeitsmetriken.

Vergewissern Sie sich, dass das Auftragsskript einen GlueContext initialisiert. Beispiel: Der folgende Skriptausschnitt initialisiert einen GlueContext und zeigt, wo der profilierte Code im Skript platziert wird. Dieses allgemeine Format wird in den folgenden Debugging-Szenarien verwendet.

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import time

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

...
...
code-to-profile
...
...


job.commit()  

Führen Sie den Auftrag aus.

Metriken visualisieren:

1. Sie können die Auftragsmetriken in der AWS Glue-Konsole visualisieren und abnormale Metriken des Treibers oder Executors identifizieren.

2. Die Beobachtbarkeitsmetriken können Sie auf der Seite zur Überwachung von Auftragsausführungen, auf der Seite mit den Auftragsausführungsdetails oder auf Amazon CloudWatch überprüfen. Weitere Informationen finden Sie unter Überwachung mit AWS Glue-Beobachtbarkeitsmetriken.

Grenzen Sie die Ursache mithilfe der identifizierten Metrik ein.

Optional bestätigen Sie die Ursache mithilfe des Protokollstreams des identifizierten Treibers oder Auftrags-Executors.