YARN 容器儲存貯體包裝 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

YARN 容器儲存貯體包裝

從 Amazon EMR 7.9.0 版開始,容器 bin-packing 政策現在可用於 YARN 容量排程器,其建置在 YARN 的多節點置放政策之上。雖然此功能預設為停用,但啟用時,YARN 會先將容器填入單一節點,再擴展到其他叢集節點,同時遵守組態 定義的預先定義封裝閾值yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage

相較於預設的統一容器配置策略,容器儲存貯體封裝政策提供數種優點:

  • 它可減少叢集資源分段。

  • 當這些節點上有可用資源時,它可能會透過在有限數量的節點上啟動容器來加速叢集縮減操作,因此讓其他節點閒置,然後可以縮減規模,從而為動態擴展叢集節省更多成本。

啟用 功能

若要在 Amazon EMR 中啟用容器二進位封裝功能,您可以新增下列 YARN 網站分類:

[ { "Classification": "yarn-site", "Properties": { "yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage": "integer value from 1-100" } } ]

考量事項

  • 此功能僅適用於 YARN 容量排程器。

  • 啟用此功能會自動啟用 YARN 多節點置放排程策略。

  • 由於在有限數量的節點上集中資源使用率,可能會降低效能。

  • 使用此功能時,相較於受管擴展政策,自訂自動擴展政策可示範更好的縮減規模操作。