Empaquetado de contenedores de YARN - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Empaquetado de contenedores de YARN

A partir de la versión 7.9.0 de Amazon EMR, la política de empaquetado de contenedores está disponible para el planificador de capacidad de YARN, que se basa en la política de distribución en múltiples nodos de YARN. Si bien la característica se encuentra deshabilitada de forma predeterminada, cuando se activa, YARN prioriza llenar un solo nodo con contenedores antes de pasar a otros nodos del clúster y, al mismo tiempo, respeta un umbral de empaquetado predefinido establecido por la configuración yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage.

La política de empaquetado de contenedores ofrece varias ventajas en comparación con la estrategia de asignación uniforme de contenedores predeterminada:

  • Reduce la fragmentación de los recursos del clúster.

  • Acelera potencialmente las operaciones de reducción vertical de los clústeres mediante la colocación de contenedores en una cantidad limitada de nodos cuando hay recursos disponibles en esos nodos y, por lo tanto, deja otros nodos inactivos, que luego se pueden reducir. Esto se traduce en un mayor ahorro de costes en relación con el escalado dinámico de un clúster.

Habilitación de la característica

Para habilitar la característica de empaquetado de contenedores en Amazon EMR, puede agregar la siguiente clasificación de sitios de YARN:

[ { "Classification": "yarn-site", "Properties": { "yarn.scheduler.capacity.multi-node-placement.container.bin-packing.percentage": "integer value from 1-100" } } ]

Consideraciones

  • La característica está disponible exclusivamente para el planificador de capacidad de YARN.

  • Cuando se habilita la característica, se activa automáticamente la estrategia de planificación de ubicación en múltiples nodos de YARN.

  • Puede haber un deterioro del rendimiento debido al uso concentrado de los recursos en un número limitado de nodos.

  • Con esta característica, las políticas de autoescalado personalizadas muestran mejores operaciones de reducción vertical, en comparación con la política de escalado administrado.