Membuat pengguna di cluster Slurm di SageMaker HyperPod

Connect ke node controller dan download script. Pastikan Anda menjalankannya dengan izin sudo.

$ curl -O https://raw.githubusercontent.com/awslabs/awsome-distributed-training/main/1.architectures/5.sagemaker-hyperpod/LifecycleScripts/base-config/utils/create_users.sh
chmod +x create_users.sh

Jalankan skrip menggunakan salah satu dari tiga modenya, yang dipilih berdasarkan prioritas dari argumen yang Anda lewati dan file di direktori saat ini: argumen baris perintah terlebih dahulu, lalu file pengguna, lalu prompt interaktif. Setiap mode menjalankan urutan yang sama: buat pengguna pada node saat ini, atur keypair SSH pada sistem file bersama, buat pengguna di semua node yang tersisa (hitung node secara paralel), daftarkan mereka dengan akuntansi Slurm pada pengontrol, tambahkan keshared_users.txt, dan tawarkan untuk mengunggah file itu ke Amazon S3.

Tiga mode dijelaskan dalam contoh berikut, masing-masing menambahkan dua pengguna (user1danuser2).

Mode baris perintah

Berikan nama pengguna sebagai argumen. Skrip secara otomatis menetapkan UID dan meminta apakah pengguna baru harus menjadi sudoer. Ini adalah cara tercepat untuk menambahkan pengguna.

$ sudo ./create_users.sh user1 user2

Skrip memvalidasi nama pengguna, lalu meminta akses sudoer:

========================================
 Step 1: User Configuration
========================================
  Users from CLI args: user1 user2
    ✓ user1 — will be created (auto-assign UID)
    ✓ user2 — will be created (auto-assign UID)
  Make these user(s) sudoer(s)? (y/N): n

Kemudian membuat pengguna pada node saat ini, mengatur keypair SSH, membuatnya di node komputasi, mendaftarkannya dengan akuntansi Slurm pada pengontrol, dan menulisshared_users.txt, meminta Anda di akhir untuk mengunggah file itu ke Amazon S3.

Modus berkas

Buat file pengguna di direktori yang sama dengan skrip, lalu jalankan skrip tanpa argumen. Skrip membaca definisi pengguna, memvalidasinya (hanya membuat pengguna yang belum ada dan melewatkan konflik UID), dan membuat pengguna di semua node. Script menerima dua format file.

Untukshared_users.txt, gunakan file CSV dengan satu pengguna per baris dalam formatusername,uid,home_directory:

user1,2001,/fsx/user1
user2,2002,/fsx/user2

Atau, untukshared_users.yaml, gunakan file YAMM dengan daftar sederhana pengguna atau pengguna yang diatur ke dalam grup. Parsing format ini membutuhkan PyYaml pada node. Berikut ini adalah format daftar sederhana:

users:
  - username: user1
    uid: 2001
  - username: user2
    uid: 2002

Jika kedua file ada, shared_users.txt diutamakan. Jalankan skrip tanpa argumen:

$ sudo ./create_users.sh

Skrip memvalidasi entri file, mengonfirmasi pembuatan, meminta akses sudoer, dan menawarkan untuk menambahkan pengguna yang tidak ada dalam file. Kemudian membuat user1 dan user2 pada semua node dengan UID dari file (2001 dan 2002), mengatur keypair SSH, mendaftarkannya dengan akuntansi Slurm, dan memperbarui. shared_users.txt

Mode interaktif

Jalankan skrip tanpa argumen dan tidak ada file pengguna. Skrip meminta Anda untuk nama pengguna dan, secara opsional, UID untuk menetapkan:

$ sudo ./create_users.sh

========================================
 Step 1: User Configuration
========================================
  No shared_users.txt or shared_users.yaml found.
  Entering interactive mode...

  Enter username(s), comma-separated (e.g. 'sean' or 'sean,alice,bob'): user1,user2
  Specify UIDs? (Enter for auto-assign, or comma-separated UIDs): 2001,2002
  Make these user(s) sudoer(s)? (y/N): n

Setelah Anda menjawab petunjuknya, skrip membuat user1 dan user2 pada semua node dengan UID yang Anda masukkan, mengatur keypair SSH, mendaftarkannya dengan akuntansi Slurm, dan memperbarui. shared_users.txt

Uji pengguna dengan beralih ke sana dan menjalankan perintah di seluruh cluster.

$ sudo su - user1 && ssh $(srun hostname)

Salin file sampel yang sesuai di add-users direktori dan edit dengan pengguna Anda:

$ cp shared_users_sample.yaml shared_users.yaml

Unggah add-users direktori ke skrip siklus hidup Anda Amazon S3 bucket (jalur bucket harus dimulai dengan): s3://sagemaker-

$ aws s3 cp add-users/ s3://DOC-EXAMPLE-BUCKET/add-users/ --recursive

Tentukan ekstensi di LifeCycleConfig blok CreateCluster permintaan Anda, gunakan add_users.sh sebagai OnInitComplete skrip:

"LifeCycleConfig": {
    "OnInitComplete": "add_users.sh",
    "SourceS3Uri": "s3://DOC-EXAMPLE-BUCKET/add-users/"
}

Perbarui file pengguna Anda dengan pengguna baru (simpan pengguna yang ada di file) dan unggah ke Amazon S3:

$ aws s3 cp add-users/shared_users.yaml s3://DOC-EXAMPLE-BUCKET/add-users/shared_users.yaml

Connect ke node controller dan tarik script ke sistem file bersama:

$ sudo mkdir -p /fsx/cluster-scripts/add-users
sudo aws s3 cp s3://DOC-EXAMPLE-BUCKET/add-users/ /fsx/cluster-scripts/add-users/ --recursive
sudo chmod +x /fsx/cluster-scripts/add-users/*.sh

Jalankan ekstensi pada pengontrol:

$ sudo bash /fsx/cluster-scripts/add-users/add_users.sh

Jalankan ekstensi pada node komputasi dengansrun:

$ sudo srun --partition=partition-name bash /fsx/cluster-scripts/add-users/add_users.sh

Unduh set skrip siklus hidup konfigurasi dasar dari situs web. GitHub Dengan opsi ini, Anda mengunggah seluruh folder konfigurasi dasar sebagai set skrip siklus hidup Anda, tidak hanya. add_users.sh

Di folder base-config, buat atau edit file teks bernama shared_users.txt dalam format berikut. Kolom pertama adalah nama pengguna, kolom kedua adalah ID pengguna unik, dan kolom ketiga adalah direktori pengguna di ruang bersama Amazon FSx.

username1,uid1,/fsx/username1
username2,uid2,/fsx/username2
...

add_users.shmembaca shared_users.txt dari folder yang sama, jadi file harus berada di dalam konfigurasi dasar di samping skrip.

Unggah seluruh folder konfigurasi dasar ke bucket Amazon S3 untuk skrip siklus hidup Anda. HyperPod Sementara pembuatan cluster, pembaruan cluster, atau pembaruan perangkat lunak cluster sedang berlangsung, runner skrip siklus hidup berjalanadd_users.sh, yang membaca shared_users.txt dan mengatur pengguna dan direktori home mereka.