Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Konfigurasikan pekerjaan yang dijalankan untuk menggunakan log Amazon S3
Untuk dapat memantau kemajuan pekerjaan dan memecahkan masalah kegagalan, Anda harus mengonfigurasi pekerjaan Anda untuk mengirim informasi log ke Amazon S3, Amazon Log, CloudWatch atau keduanya. Topik ini membantu Anda mulai menerbitkan log aplikasi ke Amazon S3 pada pekerjaan Anda yang diluncurkan dengan Amazon EMR di EKS.
S3 log kebijakan IAM
Sebelum tugas Anda dapat mengirim data log ke Amazon S3, izin berikut harus disertakan dalam kebijakan perizinan untuk peran eksekusi tugas. Ganti amzn-s3-demo-logging-bucket
dengan nama bucket logging Anda.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::
amzn-s3-demo-logging-bucket
", "arn:aws:s3:::amzn-s3-demo-logging-bucket
/*", ] } ] }
catatan
Amazon EMR di EKS juga dapat membuat bucket Amazon S3. Jika bucket Amazon S3 tidak tersedia, sertakan “s3:CreateBucket”
izin tersebut dalam kebijakan IAM.
Setelah Anda memberi peran eksekusi izin yang tepat untuk mengirim log ke Amazon S3, data log Anda akan dikirim ke lokasi Amazon S3 berikut s3MonitoringConfiguration
saat diteruskan di monitoringConfiguration
bagian permintaan, seperti start-job-run
yang ditunjukkan pada. Mengelola pekerjaan berjalan dengan AWS CLI
-
Log Pengirim -//
virtual-cluster-id
/jobs/ /containers/logUri
/(job-id
stderr.gz/stdout.gz)pod-name
-
Log Driver -//
virtual-cluster-id
/jobs/logUri
job-id
/containers/ /spark- -driver/ (spark-application-id
stderr.gz/stdout.gz)job-id
-
Log Pelaksana -//
virtual-cluster-id
/jobs/logUri
job-id
/containers///(spark-application-id
stderr.gz/stdout.gz)executor-pod-name