View a markdown version of this page

Configurar plug-ins de filtro Slurm CLI em um AWS Cluster PCS - AWS PEÇAS
Pré-requisitosHabilitar plug-ins de filtro CLI em um novo clusterImplantar scripts do plug-in de filtro CLIHabilitar ou desabilitar plug-ins de filtro CLI em clusters existentesResultados esperadosSolução de problemas

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurar plug-ins de filtro Slurm CLI em um AWS Cluster PCS

Configure os plug-ins de filtro CLI ao criar um novo cluster AWS PCS. Você pode ativar ou desativar os plug-ins de filtro CLI em clusters existentes usando a API de atualização ou o console sem recriar o cluster.

Pré-requisitos

Antes de configurar os plug-ins de filtro CLI, conclua estas tarefas:

  • Verifique se você está usando o Slurm versão 24.11 ou posterior. Para 24.11 e 25.05, consulte. Requisitos

  • Escreva e teste um script Lua que implemente a API CLI Filter Plugin

  • Escolha um método para implantar seu script em todas as instâncias de cluster (AMI, S3 ou sistema de arquivos)

Habilitar plug-ins de filtro CLI em um novo cluster

AWS PCS console

  1. Abra o console AWS PCS em https://console.aws.amazon.com/pcs/.

  2. No painel de navegação, escolha Clusters.

  3. Selecione Criar cluster.

  4. Em Configurações do agendador, expanda Configurações adicionais do agendador.

  5. Adicione uma nova configuração personalizada do Slurm com o nome do parâmetro definido como CliFilterPlugins e o valor do parâmetro definido como. cli_filter/lua

  6. Conclua a configuração restante do cluster e escolha Criar cluster.

AWS PCS API

Forneça a slurmCustomSettings configuração em sua chamada para a ação CreateCluster da API. Defina parameterName para CliFilterPlugins e parameterValue paracli_filter/lua. Para obter mais informações, consulte CreateCluster a Referência da API AWS PCS.

O exemplo a seguir usa o AWS CLI para chamar a ação CreateCluster da API. A configuração personalizada CliFilterPlugins=cli_filter/lua ativa os plug-ins de filtro CLI.

aws pcs create-cluster --cluster-name cluster-name \
--scheduler type=SLURM,version=25.11 \
--size SMALL \
--networking subnetIds=cluster-subnet-id,securityGroupIds=cluster-security-group-id \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Implantar scripts do plug-in de filtro CLI

Para implantar scripts do CLI Filter Plugin em seu cluster

  1. Certifique-se de que todas as AMIs usadas em grupos de nós de computação tenham o Slurm instalado por meio do instalador PCS Slurm. AWS

    nota

    Se você usar o AWS PCS Sample AMI para todos os grupos de nós de computação, ignore esta etapa. O Slurm já está instalado.

  2. Implante seu script Lua /etc/aws/pcs/scheduler/slurm-version/cli_filter.lua em todas as instâncias do cluster.

    Por exemplo, para o Slurm versão 25.11:

    /etc/aws/pcs/scheduler/slurm-25.11/cli_filter.lua
    nota

    A partir da versão 25.11 do Slurm, você pode personalizar o caminho cli_filter_lua_path na configuração personalizada do CliFilterParameters Slurm. Por padrão, esse parâmetro é /etc/aws/pcs/scheduler/slurm/cli_filter.lua. O agente AWS PCS vincula esse caminho ao local com controle de versão a partir da v1.4.1-1.

  3. Inicie todos os nós de login e computação usando suas AMIs preparadas.

  4. Teste o envio do trabalho para verificar se o CLI Filter Plugin está sendo executado corretamente.

Habilitar ou desabilitar plug-ins de filtro CLI em clusters existentes

Você pode ativar ou desativar os plug-ins de filtro CLI em clusters existentes sem reconstruir sua infraestrutura. Para obter mais informações, consulte Atualizando um cluster no AWS PCS.

AWS PCS console

  1. Abra o console AWS PCS em https://console.aws.amazon.com/pcs/.

  2. No painel de navegação, escolha Clusters.

  3. Selecione o cluster a ser atualizado.

  4. Escolha Editar ação.

  5. Na página Editar cluster, em Configurações adicionais do agendador:

    • Para ativar os plug-ins de filtro CLI: adicione uma nova configuração personalizada do Slurm com o nome do parâmetro definido como CliFilterPlugins e o valor do parâmetro definido como. cli_filter/lua

    • Para desativar os plug-ins de filtro CLI: remova a CliFilterPlugins configuração existente.

  6. Escolha Atualizar cluster para enviar as alterações.

  7. Monitore o status do cluster, que é exibido como “Atualizando” durante o processo e “Ativo” quando a atualização for concluída.

AWS PCS API

Use a ação da UpdateCluster API para ativar ou desativar os plug-ins de filtro CLI. Para obter mais informações, consulte UpdateCluster a Referência da API AWS PCS.

Para ativar os plug-ins de filtro CLI em um cluster existente:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[{parameterName=CliFilterPlugins,parameterValue="cli_filter/lua"}]'

Para desativar os plug-ins de filtro CLI em um cluster existente:

aws pcs update-cluster --cluster-identifier my-cluster \
--slurm-configuration \
'slurmCustomSettings=[]'

Resultados esperados

Depois de concluir a configuração:

  • Seu cluster é criado com o CLI Filter Plugin ativado

  • Os envios de trabalhos acionam sua lógica de validação personalizada antes de chegar ao controlador Slurm

  • Non-compliant os trabalhos são rejeitados com suas mensagens de erro personalizadas

  • Os trabalhos compatíveis prosseguem normalmente por meio do agendador Slurm

Solução de problemas

O script do CLI Filter Plugin está ausente em qualquer nó

Sintomas: O envio do trabalho falha imediatamente com o erro de carregamento do plug-in.

Causa provável: script não implantado em todas as instâncias ou nome ou caminho de arquivo incorretos.

Resolução: verifique se o script existe no caminho correto em todos os nós de login e computação com o nome de arquivo cli_filter.lua exato.

Configuração inválida do plugin de filtro CLI

Sintomas: A criação do cluster falha com erro de validação.

Causa provável: CliFilterPlugins parâmetro não definido para cli_filter/lua formato.

Resolução: use o valor exato do parâmetro cli_filter/lua emslurmCustomSettings.