YARN コンテナビンのパッキング - Amazon EMR
機能を有効にする考慮事項

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

YARN コンテナビンのパッキング

Amazon EMR バージョン 7.9.0 以降、YARN のマルチノード配置ポリシー上に構築された YARN キャパシティスケジューラでコンテナビンパッキングポリシーが利用可能になりました。この機能はデフォルトで無効になっていますが、有効にすることにより、YARN は設定 yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage で定義された定義済みのパッキングしきい値を尊重しながら、1 つのノードにコンテナを埋めてから他のクラスターノードに拡張することを優先します。

コンテナのビンパッキングポリシーには、デフォルトのユニフォームコンテナ割り当て戦略と比較して、いくつかの利点があります:

  • クラスタリソースの断片化を軽減します。

  • これらのノードに使用可能なリソースがある場合、限られた数のノードでコンテナを起動することで、クラスターのスケールダウン操作を高速化できる可能性があります。したがって、他のノードをアイドル状態にしておくとスケールダウンできるため、クラスターを動的にスケーリングするためのコスト削減が向上します。

機能を有効にする

Amazon EMR でコンテナのビンパッキング機能を有効にするには、以下の YARN サイト分類を追加できます:

[
	{
		"Classification": "yarn-site",
		"Properties": {
		"yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage": "integer value from 1-100"
		}
	}
]

考慮事項

  • この機能は、YARN capacity-scheduler でのみ使用できます。

  • この機能を有効にすることにより、YARN マルチノード配置スケジューリング戦略が自動的に有効化されます。

  • 限られた数のノードでリソース使用率が集中することにより、パフォーマンスが低下する可能性があります。

  • この機能を使用すると、カスタム自動スケーリングポリシーは、マネージドスケーリングポリシーと比較して、より良いスケールダウン操作を示します。