本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 AWS Glue 任務執行洞察進行監控

AWS Glue 任務執行洞察是 的一項功能 AWS Glue ，可簡化 AWS Glue 任務的任務偵錯和最佳化。 AWS Glue 提供 Spark UI，以及 CloudWatch 日誌和指標來監控您的 AWS Glue 任務。使用此功能，您可以取得 AWS Glue 任務執行的相關資訊：

您可以使用 AWS Glue CloudWatch 日誌中的兩個新日誌串流來取得所有這些洞見。

要求

AWS Glue 任務執行洞察功能適用於 2.0 版和更新 AWS Glue 版本。您可以遵循現有任務的遷移指南，從舊 AWS Glue 版本升級它們。

啟用 AWS Glue ETL 任務的任務執行洞察

您可以透過 AWS Glue Studio 或 CLI 啟用任務執行洞察。

AWS Glue Studio

透過 建立任務時 AWS Glue Studio，您可以在任務詳細資訊索引標籤下啟用或停用任務執行洞察。檢查是否已選中產生任務洞見。

命令列

如果透過 CLI 建立任務，則可以使用單個新的任務參數啟動任務：--enable-job-insights = true。

預設情況下，在 AWS Glue 連續記錄使用的相同預設日誌群組下建立任務執行見解日誌串流, 即 /aws-glue/jobs/logs-v2/。您可以使用相同的連續記錄引數集來設定自訂日誌群組名稱、日誌篩選條件和日誌群組組態。如需詳細資訊，請參閱啟用 AWS Glue 任務的持續記錄。

存取 CloudWatch 中的任務執行見解日誌串流

啟用任務執行見解功能後，當任務執行失敗時，可能會建立兩個日誌串流。任務成功完成後，兩個串流均不會產生。

如果任務是從 建立 AWS Glue Studio，則任務執行詳細資訊索引標籤 （任務執行洞見） 下也會提供上述串流的連結，做為「簡潔和合併錯誤日誌」和「錯誤分析和指引」。

AWS Glue 任務執行洞見的範例

在本部分中，我們展示任務執行見解功能如何協助您解決失敗任務中問題的範例。在此範例中，使用者忘記在 AWS Glue 任務中匯入所需的模組 （張量流程），以分析和建置其資料的機器學習模型。

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
from pyspark.sql.types import *
from pyspark.sql.functions import udf,col

args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

data_set_1 = [1, 2, 3, 4]
data_set_2 = [5, 6, 7, 8]

scoresDf = spark.createDataFrame(data_set_1, IntegerType())

def data_multiplier_func(factor, data_vector):
    import tensorflow as tf
    with tf.compat.v1.Session() as sess:
        x1 = tf.constant(factor)
        x2 = tf.constant(data_vector)
        result = tf.multiply(x1, x2)
        return sess.run(result).tolist()

data_multiplier_udf = udf(lambda x:data_multiplier_func(x, data_set_2), ArrayType(IntegerType(),False))
factoredDf = scoresDf.withColumn("final_value", data_multiplier_udf(col("value")))
print(factoredDf.collect())

如果沒有任務執行見解功能，當任務失敗時，您只會看到 Spark 擲回的訊息：

An error occurred while calling o111.collectToPython. Traceback (most recent call last):

該訊息含糊不清，並限制了您的偵錯體驗。在此情況下，此功能為您提供了兩個 CloudWatch 日誌串流中的其他見解：