Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Log berputar
Amazon EMR Serverless dapat memutar log aplikasi Spark dan log peristiwa. Rotasi log membantu dengan masalah pekerjaan yang berjalan lama menghasilkan file log besar yang dapat memakan semua ruang disk Anda. Memutar log membantu Anda menghemat penyimpanan disk dan mengurangi jumlah kegagalan pekerjaan karena Anda tidak memiliki lebih banyak ruang tersisa di disk Anda.
Rotasi log diaktifkan secara default dan hanya tersedia untuk pekerjaan Spark.
Log peristiwa Spark
catatan
Rotasi log peristiwa Spark tersedia di semua label rilis Amazon EMR.
Alih-alih menghasilkan satu file log peristiwa, EMR Serverless memutar log peristiwa pada interval waktu reguler dan menghapus file log peristiwa yang lebih lama. Memutar log tidak memengaruhi log yang diunggah ke bucket S3.
Log aplikasi Spark
catatan
Rotasi log aplikasi Spark tersedia di semua label rilis Amazon EMR.
EMR Serverless juga memutar log aplikasi spark untuk driver dan pelaksana, seperti stdout file dan. stderr Anda dapat mengakses file log terbaru dengan memilih tautan log di Studio dengan menggunakan Spark History Server dan tautan Live UI. File log adalah versi terpotong dari log terbaru. Untuk merujuk ke log yang diputar lama, tentukan lokasi Amazon S3 saat menyimpan log. Lihat Logging untuk EMR Serverless dengan bucket Amazon S3 untuk informasi selengkapnya.
Anda dapat menemukan file log terbaru di lokasi berikut. EMR Serverless menyegarkan file setiap 15 detik. File-file ini dapat berkisar dari 0 MB hingga 128 MB.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/stderr.gz
Lokasi berikut berisi file yang diputar lama. Setiap file berukuran 128 MB.
<example-S3-logUri>/applications/<application-id>/jobs/<job-id>/SPARK_DRIVER/archived/stderr_<index>.gz
Perilaku yang sama berlaku untuk pelaksana Spark juga. Perubahan ini hanya berlaku untuk logging S3. Rotasi log tidak memperkenalkan perubahan apa pun pada aliran log yang diunggah ke Amazon CloudWatch.
EMR Serverless merilis 7.1.0 dan upaya coba ulang dukungan yang lebih tinggi untuk streaming dan pekerjaan batch. Jika Anda mengaktifkan upaya coba ulang dengan pekerjaan Anda, EMR Serverless menambahkan awalan ke jalur log untuk pekerjaan tersebut sehingga Anda dapat melacak dan membedakan log dengan lebih baik satu sama lain. Jalur ini berisi semua log yang diputar.
'/applications/<applicationId>/jobs/<jobId>/attempts/<attemptNumber>/'.
