YARN 컨테이너 빈 패킹 - Amazon EMR
기능 활성화고려 사항

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

YARN 컨테이너 빈 패킹

Amazon EMR 버전 7.9.0부터 YARN의 다중 노드 배치 정책을 기반으로 구축된 YARN 용량 스케줄러에 컨테이너 빈 패키징 정책을 사용할 수 있습니다. 이 기능은 기본적으로 비활성화되어 있지만 활성화되면 YARN은 구성에서 정의한 사전 정의된 패킹 임계값을 준수하면서 다른 클러스터 노드로 확장하기 전에 단일 노드를 컨테이너로 채우는 것을 우선시합니다yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage.

컨테이너 빈 패키징 정책은 기본 균일한 컨테이너 할당 전략에 비해 몇 가지 이점을 제공합니다.

  • 클러스터 리소스 조각화를 줄입니다.

  • 노드에 사용 가능한 리소스가 있는 경우 제한된 수의 노드에서 컨테이너를 시작하여 다른 노드를 유휴 상태로 두어 클러스터 스케일 다운 작업을 가속화할 수 있으므로 클러스터를 동적으로 확장할 때 비용을 절감할 수 있습니다.

기능 활성화

Amazon EMR에서 컨테이너 빈 패키징 기능을 활성화하려면 다음 YARN 사이트 분류를 추가할 수 있습니다.

[
	{
		"Classification": "yarn-site",
		"Properties": {
		"yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage": "integer value from 1-100"
		}
	}
]

고려 사항

  • 이 기능은 YARN 용량 스케줄러에서만 사용할 수 있습니다.

  • 이 기능을 활성화하면 YARN 다중 노드 배치 예약 전략이 자동으로 활성화됩니다.

  • 제한된 수의 노드에서 리소스 사용률이 집중되어 성능이 저하될 수 있습니다.

  • 이 기능을 사용하면 사용자 지정 Auto Scaling 정책이 관리형 조정 정책에 비해 더 나은 축소 작업을 보여줍니다.