Konfigurasikan pekerjaan yang dijalankan untuk menggunakan log Amazon S3 - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasikan pekerjaan yang dijalankan untuk menggunakan log Amazon S3

Untuk dapat memantau kemajuan pekerjaan dan memecahkan masalah kegagalan, Anda harus mengonfigurasi pekerjaan Anda untuk mengirim informasi log ke Amazon S3, Amazon Log, CloudWatch atau keduanya. Topik ini membantu Anda mulai menerbitkan log aplikasi ke Amazon S3 pada pekerjaan Anda yang diluncurkan dengan Amazon EMR di EKS.

S3 log kebijakan IAM

Sebelum tugas Anda dapat mengirim data log ke Amazon S3, izin berikut harus disertakan dalam kebijakan perizinan untuk peran eksekusi tugas. Ganti amzn-s3-demo-logging-bucket dengan nama bucket logging Anda.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::amzn-s3-demo-logging-bucket",
                "arn:aws:s3:::amzn-s3-demo-logging-bucket/*",
            ]
        }
    ]
}
catatan

Amazon EMR di EKS juga dapat membuat bucket Amazon S3. Jika bucket Amazon S3 tidak tersedia, sertakan “s3:CreateBucket” izin tersebut dalam kebijakan IAM.

Setelah Anda memberi peran eksekusi izin yang tepat untuk mengirim log ke Amazon S3, data log Anda akan dikirim ke lokasi Amazon S3 berikut s3MonitoringConfiguration saat diteruskan di monitoringConfiguration bagian permintaan, seperti start-job-run yang ditunjukkan pada. Mengelola pekerjaan berjalan dengan AWS CLI

  • Log Pengirim -//virtual-cluster-id/jobs/ /containers/logUri/(job-idstderr.gz/stdout.gz) pod-name

  • Log Driver -//virtual-cluster-id/jobs/ logUri job-id /containers/ /spark- -driver/ (spark-application-idstderr.gz/stdout.gz) job-id

  • Log Pelaksana -//virtual-cluster-id/jobs/ logUri job-id /containers///(spark-application-idstderr.gz/stdout.gz) executor-pod-name