View a markdown version of this page

Configure los complementos de filtro de la CLI de Slurm en un AWS Clúster PCS - AWS PIEZAS
Requisitos previosHabilite los complementos de filtro de la CLI en un clúster nuevoImplemente los scripts del complemento CLI FilterHabilite o deshabilite los complementos de filtro de la CLI en los clústeres existentesResultados esperadosResolución de problemas

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configure los complementos de filtro de la CLI de Slurm en un AWS Clúster PCS

Configure los complementos de filtro de la CLI al crear un nuevo clúster de AWS PCS. Puede habilitar o deshabilitar los complementos de filtro de la CLI en los clústeres existentes mediante la API o la consola de actualización sin tener que volver a crear el clúster.

Requisitos previos

Antes de configurar los complementos de filtro de la CLI, complete estas tareas:

  • Verifica que estás usando la versión 24.11 o posterior de Slurm. Para las versiones 24.11 y 25.05, consulta. Requisitos

  • Escriba y pruebe un script de Lua que implemente la API del complemento de filtro CLI

  • Elige un método para implementar tu script en todas las instancias del clúster (AMI, S3 o sistema de archivos)

Habilite los complementos de filtro de la CLI en un clúster nuevo

AWS PCS console

  1. Abra la consola AWS PCS en https://console.aws.amazon.com/pcs/.

  2. En el panel de navegación, seleccione Clusters (Clústeres).

  3. Elija Create cluster.

  4. En Configuración del planificador, expanda Ajustes adicionales del planificador.

  5. Añade una nueva configuración personalizada de Slurm con el nombre del parámetro establecido en CliFilterPlugins y el valor del parámetro establecido en. cli_filter/lua

  6. Complete la configuración del clúster restante y elija Crear clúster.

AWS PCS API

Indica la slurmCustomSettings configuración en tu llamada a la acción de la CreateCluster API. Configure el parameterName para CliFilterPlugins y parameterValue paracli_filter/lua. Para obtener más información, consulte la referencia CreateCluster de la API de AWS PCS.

En el siguiente ejemplo, se utiliza la acción AWS CLI para llamar a la CreateCluster API. La configuración personalizada CliFilterPlugins=cli_filter/lua habilita los complementos de filtro de la CLI.

aws pcs create-cluster --cluster-name cluster-name \
--scheduler type=SLURM,version=25.11 \
--size SMALL \
--networking subnetIds=cluster-subnet-id,securityGroupIds=cluster-security-group-id \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Implemente los scripts del complemento CLI Filter

Para implementar los scripts del complemento CLI Filter en su clúster

  1. Asegúrese de que todas las AMI utilizadas en los grupos de nodos de procesamiento tengan Slurm instalado mediante el instalador de AWS PCS Slurm.

    nota

    Si usa el ejemplo de AMI de AWS PCS para todos los grupos de nodos de procesamiento, omita este paso. Slurm ya está instalado.

  2. Implementa tu script de Lua /etc/aws/pcs/scheduler/slurm-version/cli_filter.lua en todas las instancias del clúster.

    Por ejemplo, para la versión 25.11 de Slurm:

    /etc/aws/pcs/scheduler/slurm-25.11/cli_filter.lua
    nota

    A partir de la versión 25.11 de Slurm, puedes personalizar la ruta en la configuración personalizada de Slurm. cli_filter_lua_path CliFilterParameters El valor predeterminado de este parámetro es /etc/aws/pcs/scheduler/slurm/cli_filter.lua. El agente de AWS PCS vincula esta ruta a la ubicación versionada a partir de la versión 1.4.1-1.

  3. Inicie todos los nodos de inicio de sesión y procesamiento con las AMI preparadas.

  4. Pruebe el envío del trabajo para comprobar que el complemento de filtro de la CLI se ejecuta correctamente.

Habilite o deshabilite los complementos de filtro de la CLI en los clústeres existentes

Puede habilitar o deshabilitar los complementos de filtro de CLI en los clústeres existentes sin tener que reconstruir la infraestructura. Para obtener más información, consulte Actualización de un clúster en AWS UNIDADES.

AWS PCS console

  1. Abra la consola AWS PCS en https://console.aws.amazon.com/pcs/.

  2. En el panel de navegación, seleccione Clusters (Clústeres).

  3. Seleccione el clúster que desee actualizar.

  4. Elija Editar acción.

  5. En la página Editar clúster, en Configuración adicional del planificador:

    • Para habilitar los complementos de filtro de la CLI: agrega una nueva configuración personalizada de Slurm con el nombre del parámetro establecido en CliFilterPlugins y el valor del parámetro establecido en. cli_filter/lua

    • Para deshabilitar los complementos de filtro de la CLI: Elimine la configuración existenteCliFilterPlugins.

  6. Seleccione Actualizar clúster para enviar los cambios.

  7. Supervise el estado del clúster, que aparece como «Actualizando» durante el proceso y «Activo» cuando se completa la actualización.

AWS PCS API

Utilice la acción de la UpdateCluster API para habilitar o deshabilitar los complementos de filtro de la CLI. Para obtener más información, consulte la referencia UpdateCluster de la API de AWS PCS.

Para habilitar los complementos de filtro de CLI en un clúster existente:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Para deshabilitar los complementos de filtro de la CLI en un clúster existente:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[]'

Resultados esperados

Después de completar la configuración:

  • El clúster se crea con el complemento de filtro CLI activado

  • Los envíos de trabajos activan tu lógica de validación personalizada antes de llegar al controlador de Slurm

  • Non-compliant los trabajos se rechazan con tus mensajes de error personalizados

  • Los trabajos que cumplen con los requisitos se realizan normalmente a través del programador de Slurm

Resolución de problemas

Falta el script del plugin CLI Filter en algún nodo

Síntomas: el envío del trabajo falla inmediatamente y se produce un error al cargar el complemento.

Causa probable: el script no se ha implementado en todas las instancias o la ruta o el nombre del archivo son incorrectos.

Solución: compruebe que el script existe en la ruta correcta en todos los nodos de inicio de sesión y procesamiento con el nombre exacto del archivocli_filter.lua.

Configuración del complemento de filtro CLI no válida

Síntomas: la creación del clúster falla y se produce un error de validación.

Causa probable: el CliFilterPlugins parámetro no está configurado para cli_filter/lua formatear.

Resolución: utilice el valor exacto del parámetro cli_filter/lua enslurmCustomSettings.