翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

SageMaker HyperPod リファレンス

SageMaker HyperPod の使用に関する詳細情報とリファレンスについては、以下のトピックを参照してください。

SageMaker HyperPod の料金

以下のトピックでは、SageMaker HyperPod の料金について説明します。SageMaker HyperPod インスタンスの使用に関する 1 時間あたりの料金の詳細については、Amazon SageMaker の料金」も参照してください。

キャパシティリクエスト

SageMaker HyperPod で使用できるように、SageMaker AI でオンデマンドまたはリザーブドコンピューティングキャパシティを割り当てることができます。オンデマンドクラスターを作成すると、SageMaker AI オンデマンドキャパシティプールから利用可能なキャパシティが割り当てられます。または、クォータの引き上げのためにチケットを送信することにより、リザーブドキャパシティをリクエストしてアクセスを確保することもできます。インバウンドキャパシティリクエストは SageMaker AI によって優先され、キャパシティ割り当ての推定時間が提供されます。

サービス請求

SageMaker HyperPod でコンピューティングキャパシティをプロビジョニングすると、キャパシティーの割り当て期間に対して課金されます。SageMaker HyperPod の請求は、キャパシティ割り当てのタイプ (オンデマンド、リザーブド)、インスタンスタイプ、およびインスタンスの使用に費やされた時間の明細項目を含む年間請求書に表示されます。

クォータ引き上げのチケットを送信するには、「SageMaker HyperPod クォータ」を参照してください。

SageMaker HyperPod API

次のリストは、 AWS CLI または を介して SageMaker AI に JSON 形式のアクションリクエストを送信するための SageMaker HyperPod APIs の完全なセットです AWS SDK for Python (Boto3)。

SageMaker HyperPod Slurm の設定

HyperPod は、クラスターで Slurm を設定するための 2 つのアプローチをサポートしています。ニーズに最適なアプローチを選択します。

API 駆動型 Slurm 設定 (推奨)

API 駆動型設定では、CreateCluster および UpdateCluster API リクエストで Slurm ノードタイプ、パーティション割り当て、ファイルシステムマウントを直接定義します。このアプローチにより、以下が提供されます。

SlurmConfig (インスタンスグループごと)

を各インスタンスグループSlurmConfigに追加して、Slurm ノードタイプとパーティション割り当てを定義します。

"SlurmConfig": {
    "NodeType": "Controller | Login | Compute",
    "PartitionNames": ["string"]
}

パラメータ :

例:

{
    "InstanceGroupName": "gpu-compute",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 8,
    "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["gpu-training"]
    },
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://sagemaker-bucket/lifecycle/src/",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole"
}

Orchestrator.Slurm (クラスターレベル)

をクラスター設定Orchestrator.Slurmに追加して、HyperPod がslurm.confファイルを管理する方法を指定します。

"Orchestrator": {
    "Slurm": {
        "SlurmConfigStrategy": "Managed | Overwrite | Merge"
    }
}

パラメータ :

例:

{
    "ClusterName": "my-hyperpod-cluster",
    "InstanceGroups": [...],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    }
}

SlurmConfigStrategy の比較

InstanceStorageConfigs 経由の FSx 設定

API 駆動型設定では、 を使用してインスタンスグループごとに FSx ファイルシステムを設定できますInstanceStorageConfigs。これにより、異なるインスタンスグループで異なるファイルシステムをマウントできます。

前提条件:

FsxLustreConfig

インスタンスグループの FSx for Lustre ファイルシステムのマウントを設定します。

"InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "string",
            "MountPath": "string",
            "MountName": "string"
        }
    }
]

パラメータ :

FsxOpenZfsConfig

インスタンスグループの FSx for OpenZFS ファイルシステムのマウントを設定します。

"InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "string",
            "MountPath": "string"
        }
    }
]

パラメータ :

複数のファイルシステムを使用した例:

{
    "InstanceGroupName": "gpu-compute",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 4,
    "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["gpu-training"]
    },
    "InstanceStorageConfigs": [
        {
            "FsxLustreConfig": {
                "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                "MountPath": "/fsx",
                "MountName": "abcdefgh"
            }
        },
        {
            "FsxOpenZfsConfig": {
                "DnsName": "fs-0xyz987654321.fsx.us-west-2.amazonaws.com",
                "MountPath": "/shared"
            }
        },
        {
            "EbsVolumeConfig": {
                "VolumeSizeInGB": 500
            }
        }
    ],
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://sagemaker-bucket/lifecycle/src/",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole"
}

API 駆動型設定の完全な例

次の例は、API 駆動型 Slurm 設定を使用した完全な CreateCluster リクエストを示しています。

{
    "ClusterName": "ml-training-cluster",
    "InstanceGroups": [
        {
            "InstanceGroupName": "controller",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Controller"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        },
        {
            "InstanceGroupName": "login",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Login"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        },
        {
            "InstanceGroupName": "gpu-compute",
            "InstanceType": "ml.p4d.24xlarge",
            "InstanceCount": 8,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["gpu-training"]
            },
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ],
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2,
            "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
        },
        {
            "InstanceGroupName": "cpu-compute",
            "InstanceType": "ml.c5.18xlarge",
            "InstanceCount": 4,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["cpu-preprocessing"]
            },
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ],
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        }
    ],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    },
    "VpcConfig": {
        "SecurityGroupIds": ["sg-0abc123def456789a"],
        "Subnets": ["subnet-0abc123def456789a", "subnet-0abc123def456789b"]
    },
    "Tags": [
        {
            "Key": "Project",
            "Value": "ML-Training"
        }
    ]
}

API 駆動型設定の使用の詳細については、「」を参照してくださいライフサイクルスクリプトを使用して SageMaker HyperPod クラスターをカスタマイズする。

レガシー設定: provisioning_parameters.json

レガシーアプローチでは、 という名前の Slurm 設定ファイルを作成しprovisioning_parameters.json、ライフサイクルスクリプトの一部として Amazon S3 にアップロードします。HyperPod は、クラスターの作成時にこのファイルを読み取り、Slurm ノードを設定します。

provisioning_parameters.json の設定フォーム

次のコードは、HyperPod クラスターに Slurm ノードを適切に設定するために準備する必要がある Slurm 設定フォームです。クラスターの作成時、このフォームに記入し、一連のライフサイクルスクリプトの一部としてアップロードする必要があります。HyperPod クラスターの作成プロセス全体でこのフォームを準備する方法については、「ライフサイクルスクリプトを使用して SageMaker HyperPod クラスターをカスタマイズする」を参照してください。

// Save as provisioning_parameters.json.
{
    "version": "1.0.0",
    "workload_manager": "slurm",
    "controller_group": "string",
    "login_group": "string",
    "worker_groups": [
        {
            "instance_group_name": "string",
            "partition_name": "string"
        }
    ],
    "fsx_dns_name": "string",
    "fsx_mountname": "string"
}

パラメータ :

比較: API 駆動型設定とレガシー設定

SageMaker HyperPod DLAMI

SageMaker HyperPod は、以下に基づいて DLAMI を実行します。

SageMaker HyperPod DLAMI には、Slurm、Kubernetes、依存関係、SageMaker HyperPod クラスターソフトウェアパッケージなどのオープンソースツールをサポートするための追加のパッケージがバンドルされており、クラスターのヘルスチェックや自動再開などの回復機能がサポートされます。HyperPod サービスチームが DLAMI を通じて配布する HyperPod ソフトウェアの更新の最新情報については、「Amazon SageMaker HyperPod リリースノート」を参照してください。

SageMaker HyperPod API アクセス許可リファレンス

SageMaker HyperPod API オペレーションを実行できるようにアクセスコントロールを設定し、クラウド管理者の IAM ユーザーにアタッチできるアクセス許可ポリシーを記述する場合、次の表を参照として使用します。

SageMaker APIのアクセス許可とリソースタイプの詳細なリストについては、「AWS サービス認可リファレンス」の「Amazon SageMaker のアクション、リソース、条件キー」を参照してください。

の SageMaker HyperPod コマンド AWS CLI

以下は、SageMaker HyperPod がコア HyperPod API オペレーションを実行するための AWS CLI コマンドです。

の SageMaker HyperPod Python モジュール AWS SDK for Python (Boto3)

以下は、SageMaker AI がコア HyperPod API オペレーションを実行するための AWS SDK for Python (Boto3) クライアントのメソッドです。