本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

將 Amazon EMR 日誌發佈至 CloudWatch Logs

概觀

Amazon EMR on EC2 提供與 Amazon CloudWatch Logs 的原生整合，可讓您將叢集日誌直接傳送到 CloudWatch。此功能可簡化日誌管理，並提供 EMR 叢集日誌的集中存取，以進行監控、疑難排解和分析。

啟用 CloudWatch 記錄功能後，您就可以自動擷取日誌，並將日誌從 EMR 叢集串流至 CloudWatch 日誌群組。這包括步驟執行日誌、Spark 驅動程式日誌和 Spark 執行器日誌，可讓您全面了解叢集操作和應用程式行為。

CloudWatch 記錄功能從 Amazon EMR 7.11.0 版開始可用，並在建立叢集時透過 MonitoringConfiguration 參數設定。啟用後，日誌會在產生時自動串流至 CloudWatch，透過 CloudWatch 主控台或 API 提供近乎即時的日誌資料存取。

先決條件

為您的 EMR 叢集啟用 CloudWatch 記錄之前，請確定符合下列先決條件：

許可

CloudWatch Agent 需要特定 AWS Identity and Access Management(IAM) 許可，才能建立日誌群組、建立日誌串流，以及將日誌事件寫入 CloudWatch Logs。這些許可必須連接到 EMR 叢集所使用的 Amazon EC2 執行個體描述檔。

必要的 IAM 政策

將下列政策新增至 Amazon EMR 的 EC2 執行個體描述檔，以授予必要的許可：

{
  "Version": "2012-10-17", 		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:PutLogEvents",
        "logs:PutRetentionPolicy",
        "logs:DescribeLogStreams",
        "logs:DescribeLogGroups",
        "logs:CreateLogStream",
        "logs:CreateLogGroup"
      ],
      "Resource": "*",
      "Sid": "AllowCWACloudWatchLogs"
    }
  ]
}

連接政策

若要將此政策連接至 EMR 的 EC2 執行個體描述檔：

如需 Amazon EMR 的 IAM 角色的詳細資訊，請參閱《Amazon EMR 管理指南》中的設定 Amazon EMR 的 IAM 角色對 AWS 服務和資源的許可。

設定 CloudWatch Logging

您可以透過 AWS 管理主控台或 AWS SDKs 建立新的 EMR 叢集時 AWS CLI，啟用 CloudWatch 記錄。組態是透過 MonitoringConfiguration 參數指定。

使用 AWS 管理主控台

若要從主控台建立具有 CloudWatch 記錄的叢集：

建立叢集之後，您可以從叢集管理 → Amazon CloudWatch 中的日誌目的地下的 EMR 叢集詳細資訊頁面存取 CloudWatch Logs 連結。 Amazon CloudWatch

使用 AWS CLI

您可以使用 AWS CLI 搭配 create-cluster命令來啟用 CloudWatch 記錄。CloudWatch 代理程式必須包含在 --applications 參數中，並透過 --monitoring-configuration 參數設定記錄。

範例：預設組態

EMR 只會自動擷取步驟日誌和 Spark 驅動程式日誌，並將其傳送至預設日誌群組。

aws emr create-cluster \
  --name "EMR cluster with CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true
    }
  }'

使用預設組態時：

範例：自訂組態

此範例示範具有特定日誌群組名稱、KMS 加密和選擇性日誌類型的自訂組態。

aws emr create-cluster \
  --name "EMR cluster with custom CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true,
      "LogGroupName": "/my-company/emr/production",
      "LogStreamNamePrefix": "cluster-prod",
      "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012",
      "LogTypes": {
        "STEP_LOGS": ["STDOUT", "STDERR"],
        "SPARK_DRIVER": ["STDOUT", "STDERR"],
        "SPARK_EXECUTOR": ["STDERR", "STDOUT"]
      }
    }
  }'

此組態：

如需 AWS CLI 搭配 Amazon EMR 使用 的詳細資訊，請參閱 AWS CLI EMR 的命令參考。

組態參考

CloudWatchLogConfiguration 參數

CloudWatchLogConfigurationv 物件支援下列參數：

日誌類型

Amazon EMR 支援三種日誌類型，每個都同時擷取標準輸出和標準錯誤串流：

預設日誌類型組態

當您未指定 LogTypes 參數時，EMR 會使用下列預設組態：

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"],
  "SPARK_DRIVER": ["STDOUT", "STDERR"]
}

自訂日誌類型組態

您可以明確指定 LogTypes 參數來自訂要擷取的日誌類型。例如，若要僅擷取步驟日誌：

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"]
}

或者，若要僅從 Spark 驅動程式擷取標準錯誤：

"LogTypes": {
  "SPARK_DRIVER": ["STDERR"]
}

日誌群組和串流命名

CloudWatch 會將日誌整理成日誌群組和日誌串流：

使用 加密日誌 AWS KMS

您可以使用 AWS Key Management Service (KMS) 加密靜態 CloudWatch 日誌。若要啟用加密：

如需加密 CloudWatch Logs 資料的詳細資訊，請參閱使用 在 CloudWatch Logs 中加密日誌資料 AWS Key Management Service。

使用 KMS 加密的範例

{
  "CloudWatchLogConfiguration": {
    "Enabled": true,
    "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
  }
}

在 CloudWatch 中檢視日誌

叢集執行並啟用 CloudWatch 記錄後，您可以透過 CloudWatch 主控台或 API 檢視和分析日誌。

從 EMR 主控台存取日誌

存取叢集日誌的最快方式是直接從 EMR 主控台：

此連結會引導您直接前往篩選至叢集日誌群組的 CloudWatch Logs 主控台。

從 CloudWatch 主控台存取日誌

若要手動導覽至 CloudWatch 中的日誌：

如需有關 CloudWatch Logs 的詳細資訊，請參閱 Amazon CloudWatch Logs 使用者指南。

考量事項

CloudWatch 代理程式行為

Amazon CloudWatch Agent 同時提供指標和記錄功能：

僅啟用 CloudWatch 記錄 （停用 CloudWatch 指標）

如果您想要啟用 CloudWatch 記錄，但停用指標收集功能，您可以設定 CloudWatch Agent 來停止匯出指標。將下列分類新增至叢集組態：

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

如需 CloudWatch 指標的詳細資訊，請參閱使用 Amazon CloudWatch 監控指標。

已知限制

私有子網路需求

若要將日誌發佈至私有子網路中 EMR 叢集的 CloudWatch Logs，請建立 CloudWatch Logs VPC 端點並將其與叢集的 VPC 建立關聯。

如需 CloudWatch Logs 端點的詳細資訊，請參閱《 AWS 一般參考指南》中的 Amazon CloudWatch Logs 端點和配額。

成本考量

CloudWatch Logs 費用是根據：

若要最佳化成本：

如需目前的定價資訊，請參閱 Amazon CloudWatch 定價。

其他資源