Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

SageMaker HyperPod références

Vous trouverez plus d'informations et de références sur l'utilisation SageMaker HyperPod dans les rubriques suivantes.

SageMaker HyperPod tarification

Les rubriques suivantes fournissent des informations sur la SageMaker HyperPod tarification. Pour en savoir plus sur le prix horaire d'utilisation des SageMaker HyperPod instances, consultez également Amazon SageMaker Pricing.

Demandes de capacité

Vous pouvez allouer des capacités de calcul à la demande ou réservées avec SageMaker l'IA pour une utilisation sur SageMaker HyperPod. La création de clusters à la demande alloue la capacité disponible à partir du pool de capacités à la demande de l' SageMaker IA. Vous pouvez également demander une capacité réservée pour garantir l’accès en soumettant un ticket pour une augmentation du quota. Les demandes de capacité entrantes sont hiérarchisées par l' SageMaker IA et vous recevez une estimation du temps nécessaire à l'allocation de capacité.

Facturation du service

Lorsque vous allouez une capacité de calcul sur SageMaker HyperPod, vous êtes facturé pour la durée de l'allocation de capacité. SageMaker HyperPod la facturation apparaît sur vos factures d'anniversaire avec un poste correspondant au type d'allocation de capacité (à la demande, réservée), au type d'instance et au temps passé à utiliser l'instance.

Pour soumettre un ticket pour une augmentation de quota, consultez SageMaker HyperPod quotas.

SageMaker HyperPod APIs

La liste suivante est un ensemble complet de SageMaker HyperPod APIs demandes d'action au format JSON à SageMaker AI via AWS CLI ou AWS SDK pour Python (Boto3).

SageMaker HyperPod Configuration du Slurm

HyperPod prend en charge deux approches pour configurer Slurm sur votre cluster. Choisissez l'approche qui répond le mieux à vos besoins.

Configuration de Slurm pilotée par API (recommandée)

Avec la configuration pilotée par API, vous définissez les types de nœuds Slurm, les assignations de partitions et les montages de systèmes de fichiers directement dans les requêtes d'API et. CreateCluster UpdateCluster Cette approche permet de :

SlurmConfig (par groupe d'instances)

Ajoutez SlurmConfig à chaque groupe d'instances pour définir le type de nœud Slurm et l'attribution de partition.

"SlurmConfig": {
    "NodeType": "Controller | Login | Compute",
    "PartitionNames": ["string"]
}

Paramètres :

Exemple :

{
    "InstanceGroupName": "gpu-compute",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 8,
    "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["gpu-training"]
    },
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://sagemaker-bucket/lifecycle/src/",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole"
}

Orchestrator.Slurm (au niveau du cluster)

Ajoutez Orchestrator.Slurm à la configuration du cluster pour spécifier le mode HyperPod de gestion du slurm.conf fichier.

"Orchestrator": {
    "Slurm": {
        "SlurmConfigStrategy": "Managed | Overwrite | Merge"
    }
}

Paramètres :

Exemple :

{
    "ClusterName": "my-hyperpod-cluster",
    "InstanceGroups": [...],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    }
}

SlurmConfigStrategy comparaison

FSx configuration via InstanceStorageConfigs

Avec la configuration pilotée par API, vous pouvez configurer des FSx systèmes de fichiers par groupe d'instances à l'aide de. InstanceStorageConfigs Cela permet à différents groupes d'instances de monter différents systèmes de fichiers.

Prérequis :

FsxLustreConfig

Configuration FSx pour le montage du système de fichiers Lustre pour un groupe d'instances.

"InstanceStorageConfigs": [
    {
        "FsxLustreConfig": {
            "DnsName": "string",
            "MountPath": "string",
            "MountName": "string"
        }
    }
]

Paramètres :

FsxOpenZfsConfig

Configuration FSx pour le montage du système de fichiers OpenZFS pour un groupe d'instances.

"InstanceStorageConfigs": [
    {
        "FsxOpenZfsConfig": {
            "DnsName": "string",
            "MountPath": "string"
        }
    }
]

Paramètres :

Exemple avec plusieurs systèmes de fichiers :

{
    "InstanceGroupName": "gpu-compute",
    "InstanceType": "ml.p4d.24xlarge",
    "InstanceCount": 4,
    "SlurmConfig": {
        "NodeType": "Compute",
        "PartitionNames": ["gpu-training"]
    },
    "InstanceStorageConfigs": [
        {
            "FsxLustreConfig": {
                "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                "MountPath": "/fsx",
                "MountName": "abcdefgh"
            }
        },
        {
            "FsxOpenZfsConfig": {
                "DnsName": "fs-0xyz987654321.fsx.us-west-2.amazonaws.com",
                "MountPath": "/shared"
            }
        },
        {
            "EbsVolumeConfig": {
                "VolumeSizeInGB": 500
            }
        }
    ],
    "LifeCycleConfig": {
        "SourceS3Uri": "s3://sagemaker-bucket/lifecycle/src/",
        "OnCreate": "on_create.sh"
    },
    "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole"
}

Exemple complet de configuration piloté par API

L'exemple suivant montre une CreateCluster demande complète utilisant une configuration Slurm pilotée par API :

{
    "ClusterName": "ml-training-cluster",
    "InstanceGroups": [
        {
            "InstanceGroupName": "controller",
            "InstanceType": "ml.c5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Controller"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        },
        {
            "InstanceGroupName": "login",
            "InstanceType": "ml.m5.xlarge",
            "InstanceCount": 1,
            "SlurmConfig": {
                "NodeType": "Login"
            },
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        },
        {
            "InstanceGroupName": "gpu-compute",
            "InstanceType": "ml.p4d.24xlarge",
            "InstanceCount": 8,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["gpu-training"]
            },
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ],
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2,
            "OnStartDeepHealthChecks": ["InstanceStress", "InstanceConnectivity"]
        },
        {
            "InstanceGroupName": "cpu-compute",
            "InstanceType": "ml.c5.18xlarge",
            "InstanceCount": 4,
            "SlurmConfig": {
                "NodeType": "Compute",
                "PartitionNames": ["cpu-preprocessing"]
            },
            "InstanceStorageConfigs": [
                {
                    "FsxLustreConfig": {
                        "DnsName": "fs-0abc123def456789.fsx.us-west-2.amazonaws.com",
                        "MountPath": "/fsx",
                        "MountName": "abcdefgh"
                    }
                }
            ],
            "LifeCycleConfig": {
                "SourceS3Uri": "s3://sagemaker-us-west-2-111122223333/lifecycle/src/",
                "OnCreate": "on_create.sh"
            },
            "ExecutionRole": "arn:aws:iam::111122223333:role/HyperPodRole",
            "ThreadsPerCore": 2
        }
    ],
    "Orchestrator": {
        "Slurm": {
            "SlurmConfigStrategy": "Managed"
        }
    },
    "VpcConfig": {
        "SecurityGroupIds": ["sg-0abc123def456789a"],
        "Subnets": ["subnet-0abc123def456789a", "subnet-0abc123def456789b"]
    },
    "Tags": [
        {
            "Key": "Project",
            "Value": "ML-Training"
        }
    ]
}

Pour en savoir plus sur l'utilisation de la configuration pilotée par API, consultez. Personnalisation des SageMaker HyperPod clusters à l'aide de scripts de cycle de vie

Configuration héritée : provisioning_parameters.json

Avec l'approche traditionnelle, vous créez un fichier de configuration Slurm nommé provisioning_parameters.json et vous le chargez sur Amazon S3 dans le cadre de vos scripts de cycle de vie. HyperPod lit ce fichier lors de la création du cluster pour configurer les nœuds Slurm.

Formulaire de configuration pour provisioning_parameters.json

Le code suivant est le formulaire de configuration de Slurm que vous devez préparer pour configurer correctement les nœuds Slurm sur votre cluster. HyperPod Vous devez remplir ce formulaire et le charger dans le cadre d’un ensemble de scripts de cycle de vie lors de la création du cluster. Pour savoir comment ce formulaire doit être préparé tout au long des processus de création de HyperPod clusters, voirPersonnalisation des SageMaker HyperPod clusters à l'aide de scripts de cycle de vie.

// Save as provisioning_parameters.json.
{
    "version": "1.0.0",
    "workload_manager": "slurm",
    "controller_group": "string",
    "login_group": "string",
    "worker_groups": [
        {
            "instance_group_name": "string",
            "partition_name": "string"
        }
    ],
    "fsx_dns_name": "string",
    "fsx_mountname": "string"
}

Paramètres :

Comparaison : configuration pilotée par API et configuration héritée

SageMaker HyperPod DLAMI

SageMaker HyperPod exécute un DLAMI basé sur :

Le SageMaker HyperPod DLAMI est fourni avec des packages supplémentaires pour prendre en charge les outils open source tels que Slurm, Kubernetes, les dépendances et les packages logiciels de cluster pour prendre en charge les fonctionnalités de résilience telles que le contrôle de l'état du cluster SageMaker HyperPod et la reprise automatique. Pour suivre les mises à jour HyperPod logicielles distribuées par l'équipe de HyperPod service DLAMIs, voirNotes de SageMaker HyperPod publication d'Amazon.

SageMaker HyperPod Référence des autorisations d'API

Lorsque vous configurez le contrôle d'accès pour autoriser l'exécution d'opérations d' SageMaker HyperPod API et que vous rédigez une politique d'autorisation que vous pouvez associer aux utilisateurs IAM pour les administrateurs du cloud, utilisez le tableau suivant comme référence.

Pour obtenir la liste complète des autorisations et des types de ressources pour SageMaker APIs, consultez la section Actions, ressources et clés de condition pour Amazon SageMaker AI dans le AWS Service Authorization Reference.

SageMaker HyperPod commandes dans AWS CLI

Les AWS CLI commandes suivantes permettent d'exécuter SageMaker HyperPod les principales opérations de HyperPod l'API.

SageMaker HyperPod Modules Python dans AWS SDK pour Python (Boto3)

Voici les méthodes utilisées par le AWS SDK pour Python (Boto3) client pour que l' SageMaker IA exécute les principales opérations de HyperPod l'API.