使用 CloudWatch 指標監控 Apache Spark - Amazon Athena

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 CloudWatch 指標監控 Apache Spark

當為您已啟用 Spark 的工作群組選取 Publish CloudWatch metrics 選項時，Athena 會將計算相關指標發佈至 Amazon CloudWatch。您可以在 CloudWatch 主控台中建立自訂儀表板，設定指標的警示和觸發。

Athena 會將以下指標發佈至 AmazonAthenaForApacheSpark 命名空間下的 CloudWatch 主控台：

  • DPUCount – 工作階段期間用來執行計算所消耗的 DPU 數目。

該指標具有下列兩個維度：

  • SessionId – 要提交計算的工作階段 ID。

  • WorkGroup – 工作群組的名稱。

若要在 Amazon CloudWatch 主控台中檢視已啟用 Spark 的工作群組的指標

  1. 透過 https://console.aws.amazon.com/cloudwatch/ 開啟 CloudWatch 主控台。

  2. 在導覽窗格中，選擇 Metrics (指標)、All metrics (所有指標)。

  3. 選取 AmazonAthenaForApacheSpark 命名空間。

使用 CLI 來檢視指標

  • 執行以下任意一項：

    • 若要列出已啟用 Athena Spark 的工作群組的指標，請開啟命令提示，然後使用下列命令：

      aws cloudwatch list-metrics --namespace "AmazonAthenaForApacheSpark"

    • 若要列出所有可用的指標，請使用以下命令：

      aws cloudwatch list-metrics

如果您已在已啟用 Spark 的 Athena 工作群組中啟用 CloudWatch 指標，其會按照工作群組將以下指標傳送到 CloudWatch。指標使用 AmazonAthenaForApacheSpark 命名空間。

指標名稱 Description
DPUCount 工作階段期間用來執行計算所消耗的 DPU (資料處理單位) 數目。DPU 是處理能力的相對測量，包含 4 個 vCPUs的運算容量和 16 GB 的記憶體。

該指標具有下列維度。

維度 Description
SessionId

要提交計算的工作階段 ID。
WorkGroup

工作群組的名稱。

在發行版本 Apache Spark 3.5 版中，如果您已在 Athena Spark 工作群組中啟用 CloudWatch 指標，Athena 會將下列指標傳送至 CloudWatch。指標使用 AmazonAthenaForApacheSpark 命名空間。

名稱 描述
DPUConsumed 在工作群組中，處於 RUNNING 狀態的查詢在指定時間主動取用的 DPUs 數量。

該指標具有下列維度。

維度 Description
帳戶

AWS帳戶 ID。
WorkGroup

工作群組的名稱。