SageMaker HyperPod의 Slurm 클러스터에서 사용자 생성

컨트롤러 노드에 연결하고 스크립트를 다운로드합니다. sudo 권한으로 실행해야 합니다.

$ curl -O https://raw.githubusercontent.com/awslabs/awsome-distributed-training/main/1.architectures/5.sagemaker-hyperpod/LifecycleScripts/base-config/utils/create_users.sh
chmod +x create_users.sh

전달하는 인수와 현재 디렉터리의 파일 중에서 우선적으로 선택하는 세 가지 모드 중 하나를 사용하여 스크립트를 실행합니다. 명령줄 인수를 먼저 선택한 다음 사용자 파일을 실행하고 대화형 프롬프트를 실행합니다. 모든 모드는 동일한 순서로 실행됩니다. 즉, 현재 노드에서 사용자를 생성하고, 공유 파일 시스템에서 SSH 키 페어를 설정하고, 나머지 모든 노드(병렬로 노드 계산)에서 사용자를 생성하고, 컨트롤러에서 Slurm 회계에 사용자를 등록하고,에 추가하고shared_users.txt, 해당 파일을 Amazon S3에 업로드하도록 제안합니다.

다음 예제에서는 세 가지 모드에 대해 설명하며, 각각 두 명의 사용자를 추가합니다(user1 및 user2).

명령줄 모드

사용자 이름을 인수로 전달합니다. 스크립트는 UIDs 자동으로 할당하고 새 사용자가 sudoer여야 하는지 여부를 묻는 메시지를 표시합니다. 이는 사용자를 추가하는 가장 빠른 방법입니다.

$ sudo ./create_users.sh user1 user2

스크립트는 사용자 이름을 검증한 다음 sudoer 액세스를 요청합니다.

========================================
 Step 1: User Configuration
========================================
  Users from CLI args: user1 user2
    ✓ user1 — will be created (auto-assign UID)
    ✓ user2 — will be created (auto-assign UID)
  Make these user(s) sudoer(s)? (y/N): n

그런 다음 현재 노드에서 사용자를 생성하고, SSH 키 페어를 설정하고, 컴퓨팅 노드에서 사용자를 생성하고, 컨트롤러에서 Slurm 회계에 등록하고,를 작성하여 해당 파일을 Amazon S3에 업로드하라는 shared_users.txt메시지를 표시합니다.

파일 모드

스크립트와 동일한 디렉터리에 사용자 파일을 생성한 다음 인수 없이 스크립트를 실행합니다. 스크립트는 사용자 정의를 읽고, 이를 검증하고(아직 존재하지 않는 사용자만 생성하고 UID 충돌을 건너뜀), 모든 노드에서 사용자를 생성합니다. 스크립트는 두 가지 파일 형식을 허용합니다.

의 경우 shared_users.txtCSV 파일을 형식의 한 줄에 한 명의 사용자와 함께 사용합니다username,uid,home_directory.

user1,2001,/fsx/user1
user2,2002,/fsx/user2

또는의 경우 그룹으로 구성된 간단한 사용자 목록과 함께 YAML 파일을 shared_users.yaml사용합니다. 이 형식을 구문 분석하려면 노드에 PyYAML이 필요합니다. 다음은 간단한 목록 형식입니다.

users:
  - username: user1
    uid: 2001
  - username: user2
    uid: 2002

두 파일이 모두 있는 경우 shared_users.txt가 우선합니다. 인수 없이 스크립트를 실행합니다.

$ sudo ./create_users.sh

스크립트는 파일 항목을 검증하고, 생성을 확인하고, sudoer 액세스를 요청하고, 파일에 없는 사용자를 추가하도록 제안합니다. 그런 다음 파일의 UIDs(2001 및 2002)를 사용하여 user2 모든 노드에 user1 및를 생성하고, SSH 키 페어를 설정하고, Slurm 회계에 등록하고,를 업데이트합니다shared_users.txt.

대화형 모드

인수와 사용자 파일이 없는 상태에서 스크립트를 실행합니다. 스크립트는 사용자 이름과 선택적으로 할당할 UIDs를 입력하라는 메시지를 표시합니다.

$ sudo ./create_users.sh

========================================
 Step 1: User Configuration
========================================
  No shared_users.txt or shared_users.yaml found.
  Entering interactive mode...

  Enter username(s), comma-separated (e.g. 'sean' or 'sean,alice,bob'): user1,user2
  Specify UIDs? (Enter for auto-assign, or comma-separated UIDs): 2001,2002
  Make these user(s) sudoer(s)? (y/N): n

프롬프트에 응답하면 스크립트는 입력한 UIDs가 있는 모든 노드user2에 user1 및를 생성하고, SSH 키 페어를 설정하고, Slurm 회계에 등록하고,를 업데이트합니다shared_users.txt.

클러스터에서 사용자로 전환하고 명령을 실행하여 사용자를 테스트합니다.

$ sudo su - user1 && ssh $(srun hostname)

add-users 디렉터리에 적절한 샘플 파일을 복사하여 사용자와 함께 편집합니다.

$ cp shared_users_sample.yaml shared_users.yaml

수명 주기 스크립트 Amazon S3 버킷에 add-users 디렉터리를 업로드합니다(버킷 경로는 로 시작해야 함s3://sagemaker-).

$ aws s3 cp add-users/ s3://DOC-EXAMPLE-BUCKET/add-users/ --recursive

를 OnInitComplete 스크립트add_users.sh로 사용하여 CreateCluster 요청 LifeCycleConfig 블록에 확장을 지정합니다.

"LifeCycleConfig": {
    "OnInitComplete": "add_users.sh",
    "SourceS3Uri": "s3://DOC-EXAMPLE-BUCKET/add-users/"
}

새 사용자로 사용자 파일을 업데이트하고(파일의 기존 사용자 유지) Amazon S3에 업로드합니다.

$ aws s3 cp add-users/shared_users.yaml s3://DOC-EXAMPLE-BUCKET/add-users/shared_users.yaml

컨트롤러 노드에 연결하고 스크립트를 공유 파일 시스템으로 가져옵니다.

$ sudo mkdir -p /fsx/cluster-scripts/add-users
sudo aws s3 cp s3://DOC-EXAMPLE-BUCKET/add-users/ /fsx/cluster-scripts/add-users/ --recursive
sudo chmod +x /fsx/cluster-scripts/add-users/*.sh

컨트롤러에서 확장을 실행합니다.

$ sudo bash /fsx/cluster-scripts/add-users/add_users.sh

를 사용하여 컴퓨팅 노드에서 확장을 실행합니다srun.

$ sudo srun --partition=partition-name bash /fsx/cluster-scripts/add-users/add_users.sh

GitHub 웹 사이트에서 기본 구성 수명 주기 스크립트 세트를 다운로드합니다. 이 옵션을 사용하면 전체 기본 구성 폴더를뿐만 아니라 수명 주기 스크립트 세트로 업로드할 수 있습니다add_users.sh.

base-config 폴더shared_users.txt에서 다음 형식으로 라는 텍스트 파일을 생성하거나 편집합니다. 첫 번째 열은 사용자 이름이고, 두 번째 열은 고유한 사용자 ID이며, 세 번째 열은 Amazon FSx 공유 스페이스의 사용자 디렉터리입니다.

username1,uid1,/fsx/username1
username2,uid2,/fsx/username2
...

add_users.sh는 동일한 폴더shared_users.txt에서 읽으므로 파일은 스크립트와 함께 기본 구성 내에 있어야 합니다.

HyperPod 수명 주기 스크립트의 Amazon S3 버킷에 전체 기본 구성 폴더를 업로드합니다. 클러스터 생성, 클러스터 업데이트 또는 클러스터 소프트웨어 업데이트가 진행되는 동안 수명 주기 스크립트 실행기는를 실행add_users.sh하여 사용자와 홈 디렉터리를 읽고 shared_users.txt 설정합니다.