View a markdown version of this page

Amazon EMR 7.7.0 - Catatan rilis Hadoop - Amazon EMR
Amazon EMR 7.7.0 - Perubahan HadoopAmazon EMR 7.7.0 - Fitur Hadoop

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Amazon EMR 7.7.0 - Catatan rilis Hadoop

Amazon EMR 7.7.0 - Perubahan Hadoop

Tipe Deskripsi

Fitur Baru

Optimalkan GlobStatus Panggilan S3A Dengan Daftar Awalan S3

Backport

YARN-7327: Aktifkan penjadwalan asinkron secara default untuk penjadwal kapasitas

Backport

YARN-10058: Tangani pengecualian yang tidak tertangkap untuk utas penjadwalan async untuk mencegah penjadwal hang

Backport

YARN-11732: Perbaiki potensi NPE saat menelepon SchedulerNode #reservedContainer untuk CapacityScheduler

Backport

YARN-11560: Perbaiki bug NPE saat multi-node diaktifkan dengan jadwal secara asinkron

Backport

YARN-11191: Perbaiki kebuntuan potensial di RefreshQueues GlobalScheduler

Backport

YARN-11041: Ganti semua kejadian QueuePath dengan kelas baru QueuePath

Backport

YARN-11660: Perbaiki regresi kinerja untuk SingleConstraintAppPlacementAllocator

Backport

HADOOP-19116: Perbarui ke klien zookeeper 3.8.4 karena. CVE-2024-23944

Backport

HADOOP-19115: Tingkatkan ke nimbus-jose-jwt 9.37.2 karena. CVE-2023-52428

Backport

HADOOP-19024: Gunakan bouncycastle jdk18 1.77

Backport

HADOOP-19123: Perbarui ke commons-configuration2 2.10.1 karena CVE

Backport

HADOOP-19114: Tingkatkan ke commons-compress 1.26.1 karena CVE

Backport

HADOOP-19237: Tingkatkan ke dnsjava 3.6.1 karena CVE

Fitur Baru

Tambahkan audit permintaan S3 ke S3A

Backport

HADOOP-17609: Jadikan dukungan SM4 opsional untuk kode asli OpenSSL

Backport

HADOOP-18583: hadoop checknative gagal memuat openssl 3.x

Fitur Baru

Tambahkan dukungan untuk Pemetaan Peran S3A

Amazon EMR 7.7.0 - Fitur Hadoop

  • Penjadwalan kontainer asinkron dijadikan strategi penjadwalan default untuk penjadwal kapasitas, yang dirancang untuk mengoptimalkan kecepatan alokasi kontainer.

  • Sistem file S3A memperkenalkan pengoptimalan untuk panggilan status glob menggunakan daftar awalan S3 untuk mempercepat operasi daftar. Secara default, fitur ini dinonaktifkan dan dapat diaktifkan dengan mengkonfigurasi fs.s3a.prefix.listing.in.glob.status.enabled=true dalam file core-site.xml. Saat diaktifkan, pengoptimalan memungkinkan pemfilteran sisi server untuk panggilan globstatus sepertifs.globstatus("s3://bucket/a*"), meningkatkan kinerja daftar dengan hanya mencantumkan objek yang dimulai. "a"

  • Tambahkan audit permintaan S3 ke S3A, saat diaktifkan informasi dari SystemOwner objek file digunakan untuk mengisi string UserAgent dengan bidang pengguna dan grup pengguna yang membuat permintaan S3.

  • S3A menambahkan dukungan untuk pemetaan Peran yang membantu menentukan peran IAM mana yang akan digunakan berdasarkan pengguna, grup, atau awalan S3.