Embalagem de contêiner YARN - Amazon EMR
Ativar o recursoConsiderações

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Embalagem de contêiner YARN

A partir da versão 7.9.0 do Amazon EMR, a política de empacotamento de contêineres agora está disponível para o programador de capacidade do YARN, que se baseia na política de posicionamento de vários nós do YARN. Embora o recurso esteja desativado por padrão, quando ativado, o YARN prioriza o preenchimento de um único nó com contêineres antes de expandir para outros nós do cluster, respeitando um limite de empacotamento predefinido definido pela configuração. yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage

A política de embalagem de contêineres oferece vários benefícios em comparação com a estratégia padrão de alocação uniforme de contêineres:

  • Reduz a fragmentação dos recursos do cluster.

  • Ele potencialmente acelera as operações de redução de escala do cluster lançando contêineres em um número limitado de nós quando há recursos disponíveis nesses nós, deixando outros nós ociosos, que podem então ser reduzidos, resultando em uma melhor economia de custos para escalar dinamicamente um cluster.

Ativar o recurso

Para habilitar o recurso de empacotamento de contêineres no Amazon EMR, você pode adicionar a seguinte classificação de site do YARN:

[
	{
		"Classification": "yarn-site",
		"Properties": {
		"yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage": "integer value from 1-100"
		}
	}
]

Considerações

  • O recurso está disponível exclusivamente para o programador de capacidade do YARN.

  • A ativação do recurso ativa automaticamente a estratégia de agendamento de posicionamento de vários nós do YARN.

  • Pode haver uma possível degradação do desempenho devido à utilização concentrada de recursos em um número limitado de nós.

  • Com esse recurso, políticas personalizadas de auto-escalonamento demonstram melhores operações de redução, em comparação com a política de escalabilidade gerenciada.