Embalaje de contenedores YARN - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Embalaje de contenedores YARN

A partir de la versión 7.9.0 de Amazon EMR, la política de embalaje de contenedores ya está disponible para el programador de capacidad de YARN, que se basa en la política de ubicación de varios nodos de YARN. Si bien la función está deshabilitada de forma predeterminada, cuando está activada, YARN prioriza llenar un solo nodo con contenedores antes de expandirlo a otros nodos del clúster, respetando un umbral de empaquetado predefinido definido por la configuración. yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage

La política de empaquetado de contenedores ofrece varias ventajas en comparación con la estrategia de asignación uniforme de contenedores predeterminada:

  • Reduce la fragmentación de los recursos del clúster.

  • Potencialmente, acelera las operaciones de reducción de escala de los clústeres al lanzar contenedores en un número limitado de nodos cuando hay recursos disponibles en esos nodos y, por lo tanto, dejar otros nodos inactivos, que luego se pueden reducir, lo que se traduce en un mayor ahorro de costes al escalar dinámicamente un clúster.

Habilite la función

Para habilitar la función de embalaje de contenedores en Amazon EMR, puede añadir la siguiente clasificación de sitios de YARN:

[ { "Classification": "yarn-site", "Properties": { "yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage": "integer value from 1-100" } } ]

Consideraciones

  • La función está disponible exclusivamente para el programador de capacidad YARN.

  • Al habilitar la función, se activa automáticamente la estrategia de programación de ubicación de varios nodos de YARN.

  • Puede haber una posible degradación del rendimiento debido a la utilización concentrada de los recursos en un número limitado de nodos.

  • Con esta función, las políticas de autoescalado personalizadas demuestran mejores operaciones de escalado descendente, en comparación con la política de escalado gestionado.