기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

SageMaker HyperPod 참조

다음 주제에서 SageMaker HyperPod 사용에 대한 자세한 정보와 참조를 확인하세요.

SageMaker HyperPod 요금

다음 주제에서는 SageMaker HyperPod 요금에 대한 정보를 제공합니다. SageMaker HyperPod 인스턴스 사용에 대한 시간당 요금에 대한 자세한 내용은 Amazon SageMaker 요금 섹션을 참조하세요.

용량 요청

SageMaker HyperPod에서 사용할 온디맨드 또는 예약 컴퓨팅 용량을 SageMaker AI에 할당할 수 있습니다. 온디맨드 클러스터 생성은 SageMaker AI 온디맨드 용량 풀에서 사용 가능한 용량을 할당합니다. 또는 할당량 증가를 위한 티켓을 제출하여 액세스를 보장하기 위해 예약 용량을 요청할 수 있습니다. 인바운드 용량 요청은 SageMaker AI에서 우선순위를 지정하며 용량 할당에 대한 예상 시간을 수신합니다.

서비스 결제

SageMaker HyperPod에서 컴퓨팅 용량을 프로비저닝하면 용량 할당 기간 동안 요금이 청구됩니다. SageMaker HyperPod 결제는 용량 할당 유형(온디맨드, 예약), 인스턴스 유형 및 인스턴스 사용에 소요된 시간에 대한 라인 항목이 포함된 기념일 청구서에 표시됩니다.

할당량 증가 티켓을 제출하려면 SageMaker HyperPod 할당량 섹션을 참조하세요.

SageMaker HyperPod API

다음 목록은 AWS CLI 또는를 통해 SageMaker AI에 JSON 형식의 작업 요청을 제출하기 위한 전체 SageMaker HyperPod APIs 세트입니다 AWS SDK for Python (Boto3).

SageMaker HyperPod Slurm 구성

HyperPod는 클러스터에서 Slurm을 구성하는 두 가지 접근 방식을 지원합니다. 필요에 가장 적합한 접근 방식을 선택합니다.

API 기반 Slurm 구성(권장)

API 기반 구성을 사용하면 CreateCluster 및 UpdateCluster API 요청에서 직접 Slurm 노드 유형, 파티션 할당 및 파일 시스템 탑재를 정의할 수 있습니다. 이 접근 방식은 다음과 같은 이점을 제공합니다.

SlurmConfig(인스턴스 그룹당)

SlurmConfig 각 인스턴스 그룹에를 추가하여 Slurm 노드 유형 및 파티션 할당을 정의합니다.

"SlurmConfig": {
    "NodeType": "Controller | Login | Compute",
    "PartitionNames": ["string"]
}

파라미터:

예:

{
    "InstanceGroupName": "gpu-compute",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 8,
    "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["gpu-training"]
    },
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://sagemaker-bucket/lifecycle/src/",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole"
}

Orchestrator.Slurm(클러스터 수준)

클러스터 구성에 Orchestrator.Slurm를 추가하여 HyperPod가 slurm.conf 파일을 관리하는 방법을 지정합니다.

"Orchestrator": {
    "Slurm": {
        "SlurmConfigStrategy": "Managed | Overwrite | Merge"
    }
}

파라미터:

예:

{
    "ClusterName": "my-hyperpod-cluster",
    "InstanceGroups": [...],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    }
}

SlurmConfigStrategy 비교

InstanceStorageConfigs 통한 FSx 구성

API 기반 구성을 사용하면를 사용하여 인스턴스 그룹당 FSx 파일 시스템을 구성할 수 있습니다InstanceStorageConfigs. 이렇게 하면 서로 다른 인스턴스 그룹이 서로 다른 파일 시스템을 탑재할 수 있습니다.

사전 조건:

FsxLustreConfig

인스턴스 그룹에 대한 FSx for Lustre 파일 시스템 탑재를 구성합니다.

"InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "string",
            "MountPath": "string",
            "MountName": "string"
        }
    }
]

파라미터:

FsxOpenZfsConfig

인스턴스 그룹에 대한 FSx for OpenZFS 파일 시스템 탑재를 구성합니다.

"InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "string",
            "MountPath": "string"
        }
    }
]

파라미터:

여러 파일 시스템이 있는 예제:

{
    "InstanceGroupName": "gpu-compute",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 4,
    "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["gpu-training"]
    },
    "InstanceStorageConfigs": [
        {
            "FsxLustreConfig": {
                "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                "MountPath": "/fsx",
                "MountName": "abcdefgh"
            }
        },
        {
            "FsxOpenZfsConfig": {
                "DnsName": "fs-0xyz987654321.fsx.us-west-2.amazonaws.com",
                "MountPath": "/shared"
            }
        },
        {
            "EbsVolumeConfig": {
                "VolumeSizeInGB": 500
            }
        }
    ],
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://sagemaker-bucket/lifecycle/src/",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole"
}

전체 API 기반 구성 예제

다음 예제에서는 API 기반 Slurm 구성을 사용한 전체 CreateCluster 요청을 보여줍니다.

{
    "ClusterName": "ml-training-cluster",
    "InstanceGroups": [
        {
            "InstanceGroupName": "controller",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Controller"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        },
        {
            "InstanceGroupName": "login",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Login"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        },
        {
            "InstanceGroupName": "gpu-compute",
            "InstanceType": "ml.p4d.24xlarge",
            "InstanceCount": 8,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["gpu-training"]
            },
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ],
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2,
            "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
        },
        {
            "InstanceGroupName": "cpu-compute",
            "InstanceType": "ml.c5.18xlarge",
            "InstanceCount": 4,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["cpu-preprocessing"]
            },
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ],
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        }
    ],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    },
    "VpcConfig": {
        "SecurityGroupIds": ["sg-0abc123def456789a"],
        "Subnets": ["subnet-0abc123def456789a", "subnet-0abc123def456789b"]
    },
    "Tags": [
        {
            "Key": "Project",
            "Value": "ML-Training"
        }
    ]
}

API 기반 구성 사용에 대한 자세한 내용은 섹션을 참조하세요수명 주기 스크립트를 사용하여 SageMaker HyperPod 클러스터 사용자 지정.

레거시 구성: provisioning_parameters.json

레거시 접근 방식을 사용하면 라는 Slurm 구성 파일을 생성하여 수명 주기 스크립트의 일부로 Amazon S3에 provisioning_parameters.json 업로드할 수 있습니다. HyperPod는 클러스터 생성 중에이 파일을 읽어 Slurm 노드를 구성합니다.

provisioning_parameters.json 구성 양식

다음 코드는 HyperPod 클러스터에 Slurm 노드를 올바르게 설정하기 위해 준비해야 하는 Slurm 구성 양식입니다. 클러스터 생성 중에 이 양식을 작성하여 수명 주기 스크립트 세트의 일부로 업로드해야 합니다. HyperPod 클러스터 생성 프로세스 전체에서 이 양식을 준비하는 방법을 알아보려면 수명 주기 스크립트를 사용하여 SageMaker HyperPod 클러스터 사용자 지정 섹션을 참조하세요.

// Save as provisioning_parameters.json.
{
    "version": "1.0.0",
    "workload_manager": "slurm",
    "controller_group": "string",
    "login_group": "string",
    "worker_groups": [
        {
            "instance_group_name": "string",
            "partition_name": "string"
        }
    ],
    "fsx_dns_name": "string",
    "fsx_mountname": "string"
}

파라미터:

비교: API 기반 구성과 레거시 구성 비교

SageMaker HyperPod DLAMI

SageMaker HyperPod는 다음을 기반으로 DLAMI를 실행합니다.

SageMaker HyperPod DLAMI는 Slurm, Kubernetes, 종속성 및 SageMaker HyperPod 클러스터 소프트웨어 패키지와 같은 오픈 소스 도구를 지원하기 위한 추가 패키지와 번들링되어 클러스터 상태 확인 및 자동 재개와 같은 복원력 기능을 지원합니다. HyperPod 서비스 팀이 DLAMIs를 통해 배포하는 HyperPod 소프트웨어 업데이트를 확인하려면 Amazon SageMaker HyperPod 릴리스 정보 섹션을 참조하세요.

SageMaker HyperPod API 권한 참조

SageMaker HyperPod API 작업을 실행할 수 있도록 액세스 제어를 설정하고 클라우드 관리자를 위해 IAM 사용자에게 연결할 수 있는 권한 정책을 작성하는 경우 다음 표를 참조로 사용합니다.

SageMaker API에 사용되는 권한 및 리소스 유형의 전체 목록은 AWS 서비스 권한 부여 참조의 Actions, resources, and condition keys for Amazon SageMaker AI를 참조하세요.

의 SageMaker HyperPod 명령 AWS CLI

다음은 SageMaker HyperPod가 핵심 HyperPod API 작업을 실행하기 위한 AWS CLI 명령입니다.

의 SageMaker HyperPod Python 모듈 AWS SDK for Python (Boto3)

다음은 SageMaker AI가 핵심 HyperPod API 작업을 실행하기 위한 AWS SDK for Python (Boto3) 클라이언트의 메서드입니다.