View a markdown version of this page

Exécution de tâches sur SageMaker HyperPod des clusters orchestrés par Amazon EKS - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Exécution de tâches sur SageMaker HyperPod des clusters orchestrés par Amazon EKS

Les rubriques suivantes fournissent des procédures et des exemples d'accès à des nœuds de calcul et d'exécution de charges de travail ML sur des SageMaker HyperPod clusters provisionnés orchestrés avec Amazon EKS. Selon la manière dont vous avez configuré l'environnement de votre HyperPod cluster, il existe de nombreuses manières d'exécuter des charges de travail ML sur des HyperPod clusters.

Note

Lorsque vous exécutez des tâches via la SageMaker HyperPod CLI ou kubectl, HyperPod vous pouvez suivre l'utilisation du calcul (GPU/CPU heures) sur tous les espaces de noms (équipes). Ces métriques alimentent des rapports d’utilisation, qui fournissent :

  • Visibilité au niveau de la consommation des ressources allouées et empruntées

  • Utilisation des ressources des équipes pour l’audit (jusqu’à 180 jours)

  • Attribution des coûts conforme aux politiques de gouvernance des tâches

Pour utiliser les rapports d’utilisation, vous devez installer l’infrastructure des rapports d’utilisation. Nous vous recommandons vivement de configurer la gouvernance des tâches pour appliquer des quotas de calcul et permettre une attribution granulaire des coûts.

Pour plus d'informations sur la configuration et la génération de rapports d'utilisation, voir Signaler l'utilisation du calcul dans HyperPod.

Astuce

Pour bénéficier d'une expérience pratique et de conseils sur la configuration et l'utilisation d'un SageMaker HyperPod cluster orchestré avec Amazon EKS, nous vous recommandons de suivre cet SageMaker HyperPod atelier de support Amazon EKS.

Les utilisateurs de data scientists peuvent former des modèles fondamentaux en utilisant le cluster EKS défini comme orchestrateur du SageMaker HyperPod cluster. Les scientifiques utilisent la SageMaker HyperPod CLI et les kubectl commandes natives pour trouver les SageMaker HyperPod clusters disponibles, soumettre des tâches de formation (Pods) et gérer leurs charges de travail. La SageMaker HyperPod CLI permet de soumettre des tâches à l'aide d'un fichier de schéma de tâche de formation et fournit des fonctionnalités de liste, de description, d'annulation et d'exécution des tâches. Les scientifiques peuvent utiliser Kubeflow Training Operator en fonction des quotas de calcul gérés par HyperPod, et SageMaker AI-managed MLflow pour gérer les expériences de machine learning et les cycles d'entraînement.

Rubriques