Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Publikasikan log EMR Amazon ke Log CloudWatch

Ikhtisar

Amazon EMR on EC2 menyediakan integrasi asli dengan Amazon CloudWatch Logs, memungkinkan Anda mengirim log klaster langsung ke Fitur CloudWatch ini menyederhanakan pengelolaan log dan menyediakan akses terpusat ke log klaster EMR Anda untuk pemantauan, pemecahan masalah, dan analisis.

Dengan CloudWatch logging diaktifkan, Anda dapat secara otomatis menangkap dan mengalirkan log dari kluster EMR Anda ke CloudWatch grup log. Ini termasuk log eksekusi langkah, log driver Spark, dan log pelaksana Spark, memberi Anda visibilitas komprehensif ke dalam operasi klaster dan perilaku aplikasi Anda.

Fitur CloudWatch logging tersedia dimulai dengan Amazon EMR rilis 7.11.0 dan dikonfigurasi melalui MonitoringConfiguration parameter saat membuat cluster Anda. Setelah diaktifkan, log secara otomatis dialirkan ke CloudWatch saat dibuat, menyediakan akses hampir real-time untuk mencatat data melalui CloudWatch konsol atau API.

Prasyarat

Sebelum mengaktifkan CloudWatch logging untuk kluster EMR Anda, pastikan prasyarat berikut terpenuhi:

Izin

CloudWatch Agen memerlukan izin khusus AWS Identity and Access Management(IAM) untuk membuat grup log, membuat aliran log, dan menulis peristiwa log ke Log. CloudWatch Izin ini harus dilampirkan ke profil EC2 instans Amazon yang digunakan oleh kluster EMR Anda.

Kebijakan IAM yang diperlukan

Tambahkan kebijakan berikut ke profil EC2 instans Anda untuk Amazon EMR untuk memberikan izin yang diperlukan:

{
  "Version": "2012-10-17", 		 	 	 
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "logs:PutLogEvents",
        "logs:PutRetentionPolicy",
        "logs:DescribeLogStreams",
        "logs:DescribeLogGroups",
        "logs:CreateLogStream",
        "logs:CreateLogGroup"
      ],
      "Resource": "*",
      "Sid": "AllowCWACloudWatchLogs"
    }
  ]
}

Melampirkan Kebijakan

Untuk melampirkan kebijakan ini ke profil EC2 instans Anda untuk EMR:

Untuk informasi selengkapnya tentang peran IAM untuk Amazon EMR, lihat Mengonfigurasi peran IAM untuk izin EMR Amazon ke AWS layanan dan sumber daya di Panduan Manajemen EMR Amazon.

Mengkonfigurasi Logging CloudWatch

Anda dapat mengaktifkan CloudWatch pencatatan saat membuat klaster EMR baru melalui AWS Management Console, AWS CLI, atau. AWS SDKs Konfigurasi ditentukan melalui MonitoringConfiguration parameter.

Menggunakan Konsol AWS Manajemen

Untuk membuat cluster dengan CloudWatch logging dari konsol:

Setelah klaster dibuat, Anda dapat mengakses tautan CloudWatch Log dari halaman Rincian Cluster EMR di bawah Manajemen cluster → Tujuan log di Amazon. CloudWatch

Menggunakan AWS CLI

Anda dapat mengaktifkan CloudWatch logging menggunakan create-cluster perintah AWS CLI with the. CloudWatch Agen harus disertakan dalam --applications parameter, dan logging dikonfigurasi melalui --monitoring-configuration parameter.

Contoh: Konfigurasi Default

EMR akan secara otomatis menangkap log langkah dan log driver Spark saja dan mengirimkannya ke grup log default.

aws emr create-cluster \
  --name "EMR cluster with CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true
    }
  }'

Saat menggunakan konfigurasi default:

Contoh: Konfigurasi Kustom

Contoh ini menunjukkan konfigurasi kustom dengan nama grup log tertentu, enkripsi KMS, dan jenis log selektif.

aws emr create-cluster \
  --name "EMR cluster with custom CloudWatch Logs" \
  --release-label emr-7.11.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --instance-type m7g.2xlarge \
  --instance-count 3 \
  --use-default-roles \
  --monitoring-configuration '{
    "CloudWatchLogConfiguration": {
      "Enabled": true,
      "LogGroupName": "/my-company/emr/production",
      "LogStreamNamePrefix": "cluster-prod",
      "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012",
      "LogTypes": {
        "STEP_LOGS": ["STDOUT", "STDERR"],
        "SPARK_DRIVER": ["STDOUT", "STDERR"],
        "SPARK_EXECUTOR": ["STDERR", "STDOUT"]
      }
    }
  }'

Konfigurasi ini:

Untuk informasi selengkapnya tentang penggunaan EMR AWS CLI dengan Amazon, lihat Referensi AWS CLI Perintah untuk EMR.

Referensi Konfigurasi

CloudWatchLogConfiguration Parameter

CloudWatchLogConfigurationvObjek mendukung parameter berikut:

Jenis log

Amazon EMR mendukung tiga jenis log, masing-masing menangkap output standar dan aliran kesalahan standar:

Konfigurasi tipe log default

Bila Anda tidak menentukan LogTypes parameter, EMR menggunakan konfigurasi default berikut:

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"],
  "SPARK_DRIVER": ["STDOUT", "STDERR"]
}

Konfigurasi jenis log kustom

Anda dapat menyesuaikan jenis log mana yang akan ditangkap dengan secara eksplisit menentukan parameter. LogTypes Misalnya, untuk menangkap hanya log langkah:

"LogTypes": {
  "STEP_LOGS": ["STDOUT", "STDERR"]
}

Atau untuk menangkap hanya kesalahan standar dari driver Spark:

"LogTypes": {
  "SPARK_DRIVER": ["STDERR"]
}

Grup log dan penamaan aliran

CloudWatch mengatur log ke grup log dan aliran log:

Mengenkripsi Log dengan AWS KMS

Anda dapat mengenkripsi CloudWatch log Anda saat istirahat menggunakan AWS Key Management Service (KMS). Untuk mengaktifkan enkripsi:

Untuk informasi rinci tentang mengenkripsi data CloudWatch Log, lihat Mengenkripsi data log di CloudWatch Log menggunakan. AWS Key Management Service

Contoh dengan Enkripsi KMS

{
  "CloudWatchLogConfiguration": {
    "Enabled": true,
    "EncryptionKeyArn": "arn:aws:kms:us-east-1:123456789012:key/12345678-1234-1234-1234-123456789012"
  }
}

Melihat Log di CloudWatch

Setelah klaster Anda berjalan dengan CloudWatch logging diaktifkan, Anda dapat melihat dan menganalisis log Anda melalui CloudWatch konsol atau API.

Mengakses Log dari Konsol EMR

Cara tercepat untuk mengakses log klaster Anda adalah langsung dari konsol EMR:

Tautan ini akan membawa Anda langsung ke konsol CloudWatch Log yang difilter ke grup log klaster Anda.

Mengakses Log dari konsol CloudWatch

Untuk menavigasi secara manual ke log Anda CloudWatch:

Untuk informasi selengkapnya tentang bekerja dengan CloudWatch Log, lihat Panduan Pengguna CloudWatch Log Amazon.

Pertimbangan-pertimbangan

CloudWatch Perilaku Agen

CloudWatch Agen Amazon menyediakan metrik dan kemampuan logging:

Mengaktifkan CloudWatch logging saja (Menonaktifkan CloudWatch Metrik)

Jika Anda ingin mengaktifkan CloudWatch logging tetapi menonaktifkan fitur pengumpulan metrik, Anda dapat mengonfigurasi CloudWatch Agen untuk berhenti mengekspor metrik. Tambahkan klasifikasi berikut ke konfigurasi klaster Anda:

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Untuk informasi selengkapnya tentang CloudWatch metrik, lihat Memantau metrik dengan Amazon. CloudWatch

Keterbatasan yang Sudah Diketahui

Persyaratan Subnet Pribadi

Untuk memublikasikan CloudWatch log ke Log untuk klaster EMR di subnet pribadi, buat dan kaitkan titik akhir VPC Log dengan CloudWatch VPC klaster Anda.

Untuk informasi selengkapnya tentang titik akhir CloudWatch Log, lihat titik akhir dan kuota Amazon CloudWatch Logs di Panduan Referensi AWS Umum.

Pertimbangan Biaya

CloudWatch Biaya log didasarkan pada:

Untuk mengoptimalkan biaya:

Untuk informasi harga saat ini, lihat CloudWatch Harga Amazon.

Sumber Daya Tambahan