Criação de usuários em um cluster Slurm no SageMaker HyperPod

Conecte-se ao nó do controlador e baixe o script. Certifique-se de executá-lo com permissões sudo.

$ curl -O https://raw.githubusercontent.com/awslabs/awsome-distributed-training/main/1.architectures/5.sagemaker-hyperpod/LifecycleScripts/base-config/utils/create_users.sh
chmod +x create_users.sh

Execute o script usando um de seus três modos, que ele seleciona por prioridade a partir dos argumentos que você passa e dos arquivos no diretório atual: primeiro os argumentos da linha de comando, depois um arquivo do usuário e, em seguida, os prompts interativos. Cada modo executa a mesma sequência: crie os usuários no nó atual, configure pares de chaves SSH no sistema de arquivos compartilhados, crie os usuários em todos os nós restantes (nós de computação em paralelo), registre-os na contabilidade do Slurm no controlador, anexe-os e ofereça o upload desse arquivo para o shared_users.txt Amazon S3.

Os três modos são descritos nos exemplos a seguir, cada um adicionando dois usuários (user1euser2).

Modo de linha de comando

Passe os nomes de usuário como argumentos. O script atribui automaticamente UIDs e pergunta se os novos usuários devem ser sudoers. Essa é a maneira mais rápida de adicionar usuários.

$ sudo ./create_users.sh user1 user2

O script valida os nomes de usuário e solicita o acesso sudoer:

========================================
 Step 1: User Configuration
========================================
  Users from CLI args: user1 user2
    ✓ user1 — will be created (auto-assign UID)
    ✓ user2 — will be created (auto-assign UID)
  Make these user(s) sudoer(s)? (y/N): n

Em seguida, ele cria os usuários no nó atual, configura pares de chaves SSH, os cria nos nós de computação, os registra com a contabilidade Slurm no controlador e grava, solicitando que você, no finalshared_users.txt, faça o upload desse arquivo para o Amazon S3.

Modo de arquivo

Crie um arquivo de usuário no mesmo diretório do script e, em seguida, execute o script sem argumentos. O script lê as definições do usuário, as valida (criando somente usuários que ainda não existem e ignorando conflitos de UID) e cria os usuários em todos os nós. O script aceita dois formatos de arquivo.

Parashared_users.txt, use um arquivo CSV com um usuário por linha no formatousername,uid,home_directory:

user1,2001,/fsx/user1
user2,2002,/fsx/user2

Como alternativashared_users.yaml, use um arquivo YAML com uma lista simples de usuários ou usuários organizados em grupos. A análise desse formato requer PyYAML no nó. O seguinte é o formato de lista simples:

users:
  - username: user1
    uid: 2001
  - username: user2
    uid: 2002

Se os dois arquivos estiverem presentes, terá shared_users.txt precedência. Execute o script sem argumentos:

$ sudo ./create_users.sh

O script valida as entradas do arquivo, confirma a criação, solicita o acesso ao sudoer e oferece a adição de usuários que não estão no arquivo. Em seguida, ele cria user1 e user2 ativa todos os nós com os UIDs do arquivo (2001 e 2002), configura pares de chaves SSH, os registra na contabilidade do Slurm e os atualiza. shared_users.txt

Modo interativo

Execute o script sem argumentos e sem nenhum arquivo de usuário presente. O script solicita os nomes de usuário e, opcionalmente, os UIDs a serem atribuídos:

$ sudo ./create_users.sh

========================================
 Step 1: User Configuration
========================================
  No shared_users.txt or shared_users.yaml found.
  Entering interactive mode...

  Enter username(s), comma-separated (e.g. 'sean' or 'sean,alice,bob'): user1,user2
  Specify UIDs? (Enter for auto-assign, or comma-separated UIDs): 2001,2002
  Make these user(s) sudoer(s)? (y/N): n

Depois de responder às solicitações, o script cria user1 e, user2 em todos os nós com os UIDs que você inseriu, configura pares de chaves SSH, os registra na contabilidade do Slurm e os atualiza. shared_users.txt

Teste um usuário alternando para ele e executando um comando no cluster.

$ sudo su - user1 && ssh $(srun hostname)

Copie o arquivo de amostra apropriado no add-users diretório e edite-o com seus usuários:

$ cp shared_users_sample.yaml shared_users.yaml

Faça o upload do add-users diretório para seu bucket Amazon S3 de scripts de ciclo de vida (o caminho do bucket deve começar com): s3://sagemaker-

$ aws s3 cp add-users/ s3://DOC-EXAMPLE-BUCKET/add-users/ --recursive

Especifique a extensão no LifeCycleConfig bloco da sua CreateCluster solicitação, usando add_users.sh como OnInitComplete script:

"LifeCycleConfig": {
    "OnInitComplete": "add_users.sh",
    "SourceS3Uri": "s3://DOC-EXAMPLE-BUCKET/add-users/"
}

Atualize seu arquivo de usuário com os novos usuários (mantenha os usuários existentes no arquivo) e faça o upload para o Amazon S3:

$ aws s3 cp add-users/shared_users.yaml s3://DOC-EXAMPLE-BUCKET/add-users/shared_users.yaml

Conecte-se ao nó do controlador e transfira os scripts para o sistema de arquivos compartilhado:

$ sudo mkdir -p /fsx/cluster-scripts/add-users
sudo aws s3 cp s3://DOC-EXAMPLE-BUCKET/add-users/ /fsx/cluster-scripts/add-users/ --recursive
sudo chmod +x /fsx/cluster-scripts/add-users/*.sh

Execute a extensão no controlador:

$ sudo bash /fsx/cluster-scripts/add-users/add_users.sh

Execute a extensão nos nós de computação comsrun:

$ sudo srun --partition=partition-name bash /fsx/cluster-scripts/add-users/add_users.sh

Baixe o conjunto de scripts de ciclo de vida base-config do site. GitHub Com essa opção, você carrega toda a pasta base-config como seu conjunto de scripts de ciclo de vida, não apenas. add_users.sh

Na pasta base-config, crie ou edite um arquivo de texto com o nome shared_users.txt no formato a seguir. A primeira coluna é o nome do usuário, a segunda coluna é o ID exclusivo do usuário e a terceira coluna é o diretório do usuário no espaço compartilhado do Amazon FSx.

username1,uid1,/fsx/username1
username2,uid2,/fsx/username2
...

add_users.shlê shared_users.txt da mesma pasta, portanto, o arquivo deve estar dentro de base-config junto com o script.

Faça upload de toda a pasta base-config para o bucket do Amazon S3 para seus scripts de ciclo de vida. HyperPod Enquanto a criação do cluster, a atualização do cluster ou a atualização do software do cluster estão em andamento, o executor de scripts do ciclo de vida é executadoadd_users.sh, lendo shared_users.txt e configurando os usuários e seus diretórios iniciais.