Empacotamento de contêineres YARN - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Empacotamento de contêineres YARN

A partir da versão 7.9.0 do Amazon EMR, a política de empacotamento de contêineres está disponível para o agendador de capacidade do YARN, que é construído com base na política de posicionamento de vários nós do YARN. Embora o recurso esteja desabilitado por padrão, quando ativado, o YARN prioriza o preenchimento de um único nó com contêineres antes de expandir para outros nós do cluster, respeitando um limite de compactação predefinido pela configuração yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage.

A política de empacotamento de contêineres oferece várias vantagens em comparação com a estratégia padrão de alocação uniforme de contêineres:

  • Reduz a fragmentação dos recursos do cluster.

  • Acelera potencialmente as operações de redução de escala vertical do cluster, lançando contêineres em um número limitado de nós quando há recursos disponíveis nesses nós, deixando assim os outros nós ociosos, que podem então ser reduzidos – levando a uma melhor economia de custos para o ajuste de escala dinâmico de um cluster.

Habilite o recurso

Para habilitar o recurso de empacotamento de contêineres no Amazon EMR, você pode adicionar a seguinte classificação de site YARN:

[ { "Classification": "yarn-site", "Properties": { "yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage": "integer value from 1-100" } } ]

Considerações

  • O recurso está disponível exclusivamente para o YARN capacity-scheduler.

  • A habilitação do recurso ativa automaticamente a estratégia de agendamento de posicionamento de vários nós do YARN.

  • Pode haver uma possível degradação do performance devido à utilização concentrada de recursos em um número limitado de nós.

  • Com esse recurso, políticas personalizadas de ajuste de escala automático demonstram melhores operações de redução, em comparação com a política de ajuste de escala gerenciada.