Amazon EMR 7.0.0 - Catatan rilis Tez

Pekerjaan babi berjalan di Tez - Dalam cluster dengan SSL diaktifkan menjalankan EMR versi 6.9.0 hingga 7.0.0, ada masalah yang diketahui di mana pekerjaan Babi yang berjalan di Tez gagal dengan Pengecualian. SSLHandshake Ini terkait dengan masalah open-source TEZ-4096, yang diperkenalkan dengan upgrade Tez ke versi 0.10.2 di EMR 6.9.0. Masalah ini membutuhkan konfigurasi terkait SSL untuk diteruskan dari sisi klien (Babi).

Perbaiki versi: - EMR 7.1.0

Solusi - Tambahkan konfigurasi SSL berikut ke tez-site.xml:

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>

Masalah pembersihan DAG Tez (EMR 6.11.0 - EMR 7.2.0) - Dalam cluster dengan SSL diaktifkan menjalankan EMR versi 6.11.0 hingga 7.2.0, ada masalah yang diketahui di mana Pengecualian terjadi di TEZ Application Master (AM) selama fase pembersihan DAG. SSLHandshake Ini terjadi ketika mencoba menghapus data shuffle perantara dari node jarak jauh melalui HTTPS setelah kueri selesai, bukan selama eksekusi kueri. Masalah terjadi karena Tez AM tidak dapat membaca konfigurasi TrustStore yang relevan saat memanggil titik akhir layanan shuffle handler. Namun ini hanya memengaruhi pembersihan data shuffle selama pembersihan DAG, pembersihan level aplikasi (AM) tetap terjadi dan membersihkan data shuffle yang tersisa. Jadi ini tidak menyebabkan akumulasi data acak.

Perbaiki versi: - EMR 7.3.0

Solusi - Tambahkan konfigurasi SSL berikut ke tez-site.xml:

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>