EMR Serverless 7.14.0

EMR Serverless 7.14.0 版本備註

• 變更和增強功能

  • 自訂映像版本驗證 — 當您使用自訂映像時，EMR Serverless 會驗證其基礎映像是否使用相同的 Amazon EMR 版本。如果映像的發行版本與應用程式的發行版本不符，或映像沒有發行版本，則會拒絕請求。訊息可識別要使用的基本映像版本。從相符的 EMR Serverless 基礎映像重建您的自訂映像。

  • 提高 Spark 任務的無伺服器儲存資料限制 — 此版本將 Spark 任務的無伺服器儲存資料限制從 200 GiB 提高到 1 TiB。

  • Spark Connect 工作階段的精細存取控制 — 您透過 Apache Spark Connect 執行的互動式 PySpark 工作階段現在支援 AWS Lake Formation 精細存取控制。您在 Lake Formation 中定義的資料表、資料列、資料欄和儲存格層級許可會在工作階段查詢上強制執行。如需詳細資訊，請參閱使用 AWS Lake Formation for Spark Connect 工作階段的精細存取控制。

  • 改善精細存取控制 — 此版本可改善存取控制資料表上的資料篩選條件、時間歷程查詢和 Delta Lake 資料表操作。它還支援使用精細存取控制的 Delta Lake 資料表上的 VACUUM操作。

  • 合併 Spark 組態 — 從 開始emr-7.14.0，EMR Serverless 會合併 Spark 組態，而不是取代它。它結合了應用程式層級的組態設定，以及個別任務或工作階段的組態設定。在兩個層級設定相同的組態時，任務或工作階段值優先。在舊版中，任務或工作階段組態會完全取代應用程式層級組態。