기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

CloudWatch Logs에 Amazon EMR 로그 게시

개요

Amazon EMR on EC2는 Amazon CloudWatch Logs와의 기본 통합을 제공하므로 클러스터 로그를 CloudWatch로 직접 전송할 수 있습니다.이 기능은 로그 관리를 간소화하고 모니터링, 문제 해결 및 분석을 위해 EMR 클러스터 로그에 대한 중앙 집중식 액세스를 제공합니다.

CloudWatch 로깅을 활성화하면 EMR 클러스터에서 CloudWatch 로그 그룹으로 로그를 자동으로 캡처하고 스트리밍할 수 있습니다. 여기에는 클러스터 작업 및 애플리케이션 동작에 대한 포괄적인 가시성을 제공하는 단계 실행 로그, Spark 드라이버 로그 및 Spark 실행기 로그가 포함됩니다.

CloudWatch 로깅 기능은 Amazon EMR 릴리스 7.11.0부터 사용할 수 있으며 클러스터를 생성할 때 MonitoringConfiguration 파라미터를 통해 구성됩니다. 활성화되면 로그가 생성될 때 CloudWatch로 자동으로 스트리밍되어 CloudWatch 콘솔 또는 API를 통해 로그 데이터에 거의 실시간으로 액세스할 수 있습니다.

사전 조건

EMR 클러스터에 대해 CloudWatch 로깅을 활성화하기 전에 다음 사전 조건이 충족되는지 확인합니다.

권한

CloudWatch 에이전트는 로그 그룹을 생성하고, 로그 스트림을 생성하고, CloudWatch Logs에 로그 이벤트를 쓰려면 특정 AWS Identity and Access Management(IAM) 권한이 필요합니다. 이러한 권한은 EMR 클러스터에서 사용하는 Amazon EC2 인스턴스 프로파일에 연결되어야 합니다.

필수 IAM 정책

Amazon EMR용 EC2 인스턴스 프로파일에 다음 정책을 추가하여 필요한 권한을 부여합니다.

{
  "Version": "2012-10-17", 		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:PutLogEvents",
        "logs:PutRetentionPolicy",
        "logs:DescribeLogStreams",
        "logs:DescribeLogGroups",
        "logs:CreateLogStream",
        "logs:CreateLogGroup"
      ],
      "Resource": "*",
      "Sid": "AllowCWACloudWatchLogs"
    }
  ]
}

정책 연결

이 정책을 EMR용 EC2 인스턴스 프로파일에 연결하려면:

Amazon EMR의 IAM 역할에 대한 자세한 내용은 Amazon EMR 관리 안내서의 AWS 서비스 및 리소스에 대한 Amazon EMR 권한의 IAM 역할 구성을 참조하세요.

CloudWatch 로깅 구성

AWS 관리 콘솔 AWS CLI또는SDK를 통해 새 EMR 클러스터를 생성할 때 CloudWatch 로깅을 활성화할 수 있습니다. AWS SDKs 구성은 MonitoringConfiguration 파라미터를 통해 지정됩니다.

AWS 관리 콘솔 사용

콘솔에서 CloudWatch 로깅을 사용하여 클러스터를 생성하려면:

클러스터가 생성된 후 클러스터 관리 → Amazon CloudWatch의 로그 대상 아래의 EMR 클러스터 세부 정보 페이지에서 CloudWatch Logs 링크에 액세스할 수 있습니다. Amazon CloudWatch

사용 AWS CLI

create-cluster 명령과 AWS CLI 함께를 사용하여 CloudWatch 로깅을 활성화할 수 있습니다. CloudWatch 에이전트는 --applications 파라미터에 포함되어야 하며, 로깅은 --monitoring-configuration 파라미터를 통해 구성됩니다.

예: 기본 구성

EMR은 단계 로그와 Spark 드라이버 로그만 자동으로 캡처하여 기본 로그 그룹으로 전송합니다.

aws emr create-cluster \
  --name "EMR cluster with CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true
    }
  }'

기본 구성을 사용하는 경우:

예: 사용자 지정 구성

이 예제에서는 특정 로그 그룹 이름, KMS 암호화 및 선택적 로그 유형을 사용한 사용자 지정 구성을 보여줍니다.

aws emr create-cluster \
  --name "EMR cluster with custom CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true,
      "LogGroupName": "/my-company/emr/production",
      "LogStreamNamePrefix": "cluster-prod",
      "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012",
      "LogTypes": {
        "STEP_LOGS": ["STDOUT", "STDERR"],
        "SPARK_DRIVER": ["STDOUT", "STDERR"],
        "SPARK_EXECUTOR": ["STDERR", "STDOUT"]
      }
    }
  }'

이 구성은 다음과 같습니다.

Amazon EMR AWS CLI 에서를 사용하는 방법에 대한 자세한 내용은 AWS CLI EMR에 대한 명령 참조를 참조하세요.

구성 참조

CloudWatchLogConfiguration 파라미터

CloudWatchLogConfigurationv 객체는 다음 파라미터를 지원합니다.

로그 유형

Amazon EMR은 표준 출력과 표준 오류 스트림을 모두 캡처하는 세 가지 로그 유형을 지원합니다.

기본 로그 유형 구성

LogTypes 파라미터를 지정하지 않으면 EMR은 다음과 같은 기본 구성을 사용합니다.

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"],
  "SPARK_DRIVER": ["STDOUT", "STDERR"]
}

사용자 지정 로그 유형 구성

LogTypes 파라미터를 명시적으로 지정하여 캡처할 로그 유형을 사용자 지정할 수 있습니다. 예를 들어 단계 로그만 캡처하려면

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"]
}

또는 Spark 드라이버에서 표준 오류만 캡처하려면:

"LogTypes": {
  "SPARK_DRIVER": ["STDERR"]
}

로그 그룹 및 스트림 이름 지정

CloudWatch는 로그를 로그 그룹 및 로그 스트림으로 구성합니다.

를 사용하여 로그 암호화 AWS KMS

AWS Key Management Service (KMS)를 사용하여 CloudWatch 저장 로그를 암호화할 수 있습니다. 암호화를 활성화하려면:

CloudWatch Logs 데이터 암호화에 대한 자세한 내용은를 사용하여 CloudWatch Logs에서 로그 데이터 암호화를 참조하세요 AWS Key Management Service.

KMS 암호화를 사용한 예제

{
  "CloudWatchLogConfiguration": {
    "Enabled": true,
    "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
  }
}

CloudWatch에서 로그 보기

클러스터가 CloudWatch 로깅이 활성화된 상태로 실행되면 CloudWatch 콘솔 또는 API를 통해 로그를 보고 분석할 수 있습니다.

EMR 콘솔에서 로그 액세스

클러스터 로그에 액세스하는 가장 빠른 방법은 EMR 콘솔에서 직접 액세스하는 것입니다.

이 링크를 클릭하면 클러스터의 로그 그룹으로 필터링된 CloudWatch Logs 콘솔로 바로 이동합니다.

CloudWatch 콘솔에서 로그 액세스

CloudWatch에서 로그로 수동으로 이동하려면:

CloudWatch Logs에 대한 자세한 내용은 Amazon CloudWatch Logs User Guide를 참조하세요.

고려 사항

CloudWatch 에이전트 동작

Amazon CloudWatch 에이전트는 지표와 로깅 기능을 모두 제공합니다.

CloudWatch 로깅만 활성화(CloudWatch 지표 비활성화)

CloudWatch 로깅을 활성화하지만 지표 수집 기능을 비활성화하려면 지표 내보내기를 중지하도록 CloudWatch 에이전트를 구성할 수 있습니다. 클러스터 구성에 다음 분류를 추가합니다.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

CloudWatch 지표에 대한 자세한 내용은 Amazon CloudWatch를 사용하여 지표 모니터링을 참조하세요.

알려진 제한 사항

프라이빗 서브넷 요구 사항

프라이빗 서브넷의 EMR 클러스터에 대한 CloudWatch Logs에 로그를 게시하려면 CloudWatch Logs VPC 엔드포인트를 생성하고 클러스터의 VPC와 연결합니다.

CloudWatch Logs 엔드포인트에 대한 자세한 내용은 AWS 일반 참조 안내서의 Amazon CloudWatch Logs 엔드포인트 및 할당량을 참조하세요.

비용 고려 사항

CloudWatch Logs 요금은 다음을 기반으로 합니다.

비용 최적화:

현재 요금 정보는 Amazon CloudWatch 요금을 참조하세요.

추가 리소스