View a markdown version of this page

Configurar plug-ins de filtro CLI do Slurm em um AWS Cluster PCS - AWS PCS
Pré-requisitosAtivar plug-ins de filtro CLI em um novo clusterImplantar scripts de plug-in de filtro CLIAtivar ou desativar plug-ins de filtro CLI em clusters existentesResultados esperadosSolução de problemas

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurar plug-ins de filtro CLI do Slurm em um AWS Cluster PCS

Configure os plug-ins de filtro CLI ao criar um novo cluster AWS PCS. Você pode ativar ou desativar os plug-ins de filtro CLI em clusters existentes usando a API de atualização ou o console sem recriar o cluster.

Pré-requisitos

Antes de configurar os plug-ins de filtro CLI, conclua estas tarefas:

  • Verifique se você está usando a versão 24.11 ou posterior do Slurm. Para 24.11 e 25.05, consulte. Requisitos

  • Escreva e teste um script Lua que implemente a API CLI Filter Plugin

  • Nomeie seu script Lua exatamente cli_filter.lua

  • Escolha um método para implantar seu script em todas as instâncias do cluster (AMI, S3 ou sistema de arquivos)

Ativar plug-ins de filtro CLI em um novo cluster

AWS PCS console

  1. Abra o console AWS PCS em https://console.aws.amazon.com/pcs/.

  2. No painel de navegação, escolha Clusters.

  3. Selecione Criar cluster.

  4. Em Configurações do agendador, expanda Configurações adicionais do agendador.

  5. Adicione uma nova configuração personalizada do Slurm com o nome do parâmetro definido como CliFilterPlugins e o valor do parâmetro definido como. cli_filter/lua

  6. Conclua a configuração restante do cluster e escolha Criar cluster.

AWS PCS API

Forneça a slurmCustomSettings configuração em sua chamada para a ação CreateCluster da API. Defina parameterName para CliFilterPlugins e parameterValue paracli_filter/lua. Para obter mais informações, consulte CreateClustera Referência da API AWS PCS.

O exemplo a seguir usa o AWS CLI para chamar a ação CreateCluster da API. A configuração personalizada CliFilterPlugins=cli_filter/lua ativa os plug-ins de filtro CLI.

aws pcs create-cluster --cluster-name cluster-name \
--scheduler type=SLURM,version=25.11 \
--size SMALL \
--networking subnetIds=cluster-subnet-id,securityGroupIds=cluster-security-group-id \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Implantar scripts de plug-in de filtro CLI

Para implantar scripts do CLI Filter Plugin em seu cluster

  1. Certifique-se de que todas as AMIs usadas em grupos de nós de computação tenham o Slurm instalado por meio do instalador do AWS PCS Slurm.

    nota

    Se você usar o AWS PCS Sample AMI para todos os grupos de nós de computação, pule esta etapa. O Slurm já está instalado.

  2. Implante seu cli_filter.lua script /etc/aws/pcs/scheduler/slurm-<version>/cli_filter.lua em todas as instâncias do cluster.

    Por exemplo, para a versão 25.11 do Slurm:

    /etc/aws/pcs/scheduler/slurm-25.11/cli_filter.lua

  3. Inicie todos os nós de login e computação usando suas AMIs preparadas.

  4. Teste o envio do trabalho para verificar se o plug-in de filtro CLI está sendo executado corretamente.

Ativar ou desativar plug-ins de filtro CLI em clusters existentes

Você pode ativar ou desativar os plug-ins de filtro CLI em clusters existentes sem reconstruir sua infraestrutura. Para obter mais informações, consulte Atualizando um cluster no AWS PCS.

AWS PCS console

  1. Abra o console AWS PCS em https://console.aws.amazon.com/pcs/.

  2. No painel de navegação, escolha Clusters.

  3. Selecione o cluster a ser atualizado.

  4. Escolha Editar ação.

  5. Na página Editar cluster, em Configurações adicionais do agendador:

    • Para habilitar os plug-ins de filtro CLI: adicione uma nova configuração personalizada do Slurm com o nome do parâmetro definido como CliFilterPlugins e o valor do parâmetro definido como. cli_filter/lua

    • Para desativar os plug-ins de filtro CLI: remova a configuração existenteCliFilterPlugins.

  6. Escolha Atualizar cluster para enviar as alterações.

  7. Monitore o status do cluster, que aparece como “Atualizando” durante o processo e “Ativo” quando a atualização é concluída.

AWS PCS API

Use a ação da UpdateCluster API para ativar ou desativar os plug-ins de filtro CLI. Para obter mais informações, consulte UpdateClustera Referência da API AWS PCS.

Para habilitar plug-ins de filtro CLI em um cluster existente:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Para desativar os plug-ins de filtro CLI em um cluster existente:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[]'

Resultados esperados

Depois de concluir a configuração:

  • Seu cluster é criado com o CLI Filter Plugin ativado

  • Os envios de trabalhos acionam sua lógica de validação personalizada antes de chegar ao controlador Slurm

  • Non-compliant os trabalhos são rejeitados com suas mensagens de erro personalizadas

  • Os trabalhos compatíveis prosseguem normalmente por meio do agendador Slurm.

Solução de problemas

Falta o script do plug-in de filtro CLI em qualquer nó

Sintomas: O envio do trabalho falha imediatamente com erro de carregamento do plug-in.

Causa provável: script não implantado em todas as instâncias ou nome ou caminho de arquivo incorreto.

Resolução: verifique se o script existe no caminho correto em todos os nós de login e computação com o nome de arquivo cli_filter.lua exato.

Configuração inválida do plug-in de filtro CLI

Sintomas: falha na criação do cluster com erro de validação.

Causa provável: CliFilterPlugins parâmetro não definido para cli_filter/lua formatar.

Resolução: Use o valor exato do parâmetro cli_filter/lua emslurmCustomSettings.