View a markdown version of this page

Amazon EMR 7.7.0 - Hadoop リリースノート - Amazon EMR
Amazon EMR 7.7.0 - Hadoop の変更Amazon EMR 7.7.0 - Hadoop の機能

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR 7.7.0 - Hadoop リリースノート

Amazon EMR 7.7.0 - Hadoop の変更

型 説明

新機能

S3 プレフィックスリストを使用して S3A GlobStatus 呼び出しを最適化する S3

バックポート

YARN-7327: キャパシティスケジューラの非同期スケジューリングをデフォルトで有効にする

バックポート

YARN-10058: スケジューラがハングしないように、非同期スケジューリングスレッドのアタッチされていない例外を処理する

バックポート

YARN-11732: CapacityScheduler の SchedulerNode#reservedContainer を呼び出すときに発生する可能性のある NPE を修正

バックポート

YARN-11560: スケジュールが非同期でマルチノードが有効になっている場合の NPE バグを修正

バックポート

YARN-11191: GlobalScheduler refreshQueues の強力なデッドロックを修正

バックポート

YARN-11041: queuePath のすべての発生を新しい QueuePath クラスに置き換える

バックポート

YARN-11660: SingleConstraintAppPlacementAllocator のパフォーマンス低下を修正

バックポート

HADOOP-19116: CVE-2024-23944 のため、zookeeper クライアント 3.8.4 を更新。

バックポート

HADOOP-19115: CVE-2023-52428 のため、nimbus-jose-jwt 9.37.2 にアップグレード。

バックポート

HADOOP-19024: bouncycastle jdk18 1.77 を使用する

バックポート

HADOOP-19123: CVE のため commons-configuration2 2.10.1 に更新

バックポート

HADOOP-19114: CVE のため commons-compress 1.26.1 にアップグレード

バックポート

HADOOP-19237: CVE のため dnsjava 3.6.1 にアップグレード

新機能

S3 リクエスト監査を S3A に追加する

バックポート

HADOOP-17609: OpenSSL ネイティブコードの SM4 サポートをオプションにする

バックポート

HADOOP-18583: hadoop checknative が openssl 3.x のロードに失敗

新機能

S3A ロールマッピングのサポートを追加する

Amazon EMR 7.7.0 - Hadoop の機能

  • 非同期コンテナスケジューリングは、コンテナ割り当て速度を最適化するように設計されたキャパシティスケジューラのデフォルトのスケジューリング戦略になります。

  • S3A ファイルシステムは、S3 プレフィックスリストを使用して glob ステータス呼び出しを最適化し、リストオペレーションを高速化します。デフォルトでは、この機能は無効になっており、core-site.xml ファイルで fs.s3a.prefix.listing.in.glob.status.enabled=true を設定することで有効にできます。最適化を有効にすることにより、fs.globstatus("s3://bucket/a*") のような globstatus 呼び出しのサーバー側のフィルタリングが可能になり、"a" で始まるオブジェクトのみを一覧表示することで、リストのパフォーマンスが向上します。

  • S3 リクエスト監査を S3A に追加します。有効にすることにより、fileSystemOwner オブジェクトからの情報を使用して userAgent 文字列に S3 リクエストを行うユーザーフィールドとユーザーグループフィールドを入力します。

  • S3A は、ユーザー、グループ、または S3 プレフィックスに基づいて使用する IAM ロールを決定するのに役立つロールマッピングのサポートを追加します。