本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

SageMaker HyperPod 參考

在下列主題中，尋找有關使用 SageMaker HyperPod 的詳細資訊和參考。

SageMaker HyperPod 定價

下列主題提供 SageMaker HyperPod 定價的相關資訊。若要尋找使用 SageMaker HyperPod 執行個體的每小時價格詳細資訊，另請參閱 Amazon SageMaker 定價。

容量請求

您可以使用 SageMaker AI 配置隨需或預留的運算容量，以便在 SageMaker HyperPod 上使用。隨需叢集建立會從 SageMaker AI 隨需容量集區配置可用容量。或者，您可以請求預留容量，透過提交票證以增加配額來確保存取。SageMaker AI 會優先處理傳入容量請求，而且您會收到容量配置的預估時間。

服務計費

當您在 SageMaker HyperPod 上佈建運算容量時，您需要針對容量配置的持續時間計費。SageMaker HyperPod 計費會出現在您的周年帳單中，其中包含容量配置類型 (隨需、預留)、執行個體類型，以及使用執行個體所花費時間的明細項目。

若要提交票證以增加配額，請參閱 SageMaker HyperPod 配額。

SageMaker HyperPod API

下列清單是一組完整的 SageMaker HyperPod APIs用於透過 AWS CLI 或 向 SageMaker AI 提交 JSON 格式的動作請求 適用於 Python (Boto3) 的 AWS SDK。

SageMaker HyperPod Slurm 組態

HyperPod 支援兩種在叢集上設定 Slurm 的方法。選擇最適合您需求的方法。

API 驅動的 Slurm 組態 （建議）

使用 API 驅動的組態，您可以直接在 CreateCluster 和 UpdateCluster API 請求中定義 Slurm 節點類型、分割區指派和檔案系統掛載。此方法提供：

SlurmConfig （每個執行個體群組）

將 SlurmConfig新增至每個執行個體群組，以定義 Slurm 節點類型和分割區指派。

"SlurmConfig": {
    "NodeType": "Controller | Login | Compute",
    "PartitionNames": ["string"]
}

參數：

範例：

{
    "InstanceGroupName": "gpu-compute",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 8,
    "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["gpu-training"]
    },
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://sagemaker-bucket/lifecycle/src/",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole"
}

Orchestrator.Slurm （叢集層級）

將 Orchestrator.Slurm新增至叢集組態，以指定 HyperPod 如何管理 slurm.conf 檔案。

"Orchestrator": {
    "Slurm": {
        "SlurmConfigStrategy": "Managed | Overwrite | Merge"
    }
}

參數：

範例：

{
    "ClusterName": "my-hyperpod-cluster",
    "InstanceGroups": [...],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    }
}

SlurmConfigStrategy 比較

透過 InstanceStorageConfigs 的 FSx 組態

使用 API 驅動組態，您可以使用 為每個執行個體群組設定 FSx 檔案系統InstanceStorageConfigs。這可讓不同的執行個體群組掛載不同的檔案系統。

先決條件：

FsxLustreConfig

設定執行個體群組的 FSx for Lustre 檔案系統掛載。

"InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "string",
            "MountPath": "string",
            "MountName": "string"
        }
    }
]

參數：

FsxOpenZfsConfig

為執行個體群組設定 FSx for OpenZFS 檔案系統掛載。

"InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "string",
            "MountPath": "string"
        }
    }
]

參數：

具有多個檔案系統的範例：

{
    "InstanceGroupName": "gpu-compute",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 4,
    "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["gpu-training"]
    },
    "InstanceStorageConfigs": [
        {
            "FsxLustreConfig": {
                "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                "MountPath": "/fsx",
                "MountName": "abcdefgh"
            }
        },
        {
            "FsxOpenZfsConfig": {
                "DnsName": "fs-0xyz987654321.fsx.us-west-2.amazonaws.com",
                "MountPath": "/shared"
            }
        },
        {
            "EbsVolumeConfig": {
                "VolumeSizeInGB": 500
            }
        }
    ],
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://sagemaker-bucket/lifecycle/src/",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole"
}

完成 API 驅動的組態範例

下列範例顯示使用 API 驅動的 Slurm 組態的完整 CreateCluster 請求：

{
    "ClusterName": "ml-training-cluster",
    "InstanceGroups": [
        {
            "InstanceGroupName": "controller",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Controller"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        },
        {
            "InstanceGroupName": "login",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Login"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        },
        {
            "InstanceGroupName": "gpu-compute",
            "InstanceType": "ml.p4d.24xlarge",
            "InstanceCount": 8,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["gpu-training"]
            },
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ],
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2,
            "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
        },
        {
            "InstanceGroupName": "cpu-compute",
            "InstanceType": "ml.c5.18xlarge",
            "InstanceCount": 4,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["cpu-preprocessing"]
            },
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ],
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        }
    ],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    },
    "VpcConfig": {
        "SecurityGroupIds": ["sg-0abc123def456789a"],
        "Subnets": ["subnet-0abc123def456789a", "subnet-0abc123def456789b"]
    },
    "Tags": [
        {
            "Key": "Project",
            "Value": "ML-Training"
        }
    ]
}

若要進一步了解如何使用 API 驅動的組態，請參閱 使用生命週期指令碼自訂 SageMaker HyperPod 叢集。

舊版組態：visioning_parameters.json

使用舊版方法，您可以建立名為 的 Slurm 組態檔案，並將其作為生命週期指令碼的一部分provisioning_parameters.json上傳至 Amazon S3。HyperPod 會在叢集建立期間讀取此檔案，以設定 Slurm 節點。

provisioning_parameters.json 的組態表單

下列程式碼是您應該準備在 HyperPod 叢集上適當設定 Slurm 節點的 Slurm 組態表單。您應該完成此表單，並在叢集建立期間將其上傳為一組生命週期指令碼的一部分。若要了解如何在整個 HyperPod 叢集建立程序中準備此表單，請參閱使用生命週期指令碼自訂 SageMaker HyperPod 叢集。

// Save as provisioning_parameters.json.
{
    "version": "1.0.0",
    "workload_manager": "slurm",
    "controller_group": "string",
    "login_group": "string",
    "worker_groups": [
        {
            "instance_group_name": "string",
            "partition_name": "string"
        }
    ],
    "fsx_dns_name": "string",
    "fsx_mountname": "string"
}

參數：

比較：API 驅動型與舊版組態

SageMaker HyperPod DLAMI

SageMaker HyperPod 會根據下列項目執行 DLAMI：

SageMaker HyperPod DLAMI 與支援開放原始碼工具的其他套件 (例如 Slurm、Kubernetes、相依性和 SageMaker HyperPod 叢集軟體套件) 綁定，以支援叢集運作狀態檢查和自動繼續等彈性功能。若要追蹤 HyperPod 服務團隊透過 DLAMI 分發的 HyperPod 軟體更新，請參閱 Amazon SageMaker HyperPod 版本備註。

SageMaker HyperPod API 許可參考

當您設定存取控制以允許執行 SageMaker HyperPod API 操作，並為雲端管理員撰寫您可以將其連接至 IAM 使用者的許可政策時，請使用下表做為參考。

如需 SageMaker API 的許可和資源類型完整清單，請參閱《AWS 服務授權參考》中的 Amazon SageMaker AI 的動作、資源和條件金鑰。

中的 SageMaker HyperPod 命令 AWS CLI

以下是 SageMaker HyperPod 執行核心 HyperPod API 操作的 AWS CLI 命令。

中的 SageMaker HyperPod Python 模組 適用於 Python (Boto3) 的 AWS SDK

以下是 SageMaker AI 適用於 Python (Boto3) 的 AWS SDK 用戶端執行核心 HyperPod API 操作的方法。