Aidez à améliorer cette page

Pour contribuer à ce guide de l’utilisateur, cliquez sur le lien Modifier cette page sur GitHub qui se trouve dans le volet droit de chaque page.

Exécutez des conteneurs accélérés par GPU (Windows sur EC2 G-Series)

Découvrez comment exécuter des charges de travail de conteneurs Windows accélérées par GPU sur Amazon EKS (Elastic Kubernetes Service) à l’aide de GPU NVIDIA avec le plug-in Kubernetes Device Plugin for DirectX de TensorWorks. Pour plus d’informations, consultez Kubernetes Device Plugin for DirectX.

Il existe deux approches principales pour configurer l’accélération GPU pour vos conteneurs Windows :

Les deux approches peuvent être mises à profit en suivant les étapes décrites dans ce guide.

Considérations

Ce guide fournit les étapes à suivre pour installer et configurer l’accélération GPU pour vos conteneurs Windows à l’aide des GPU NVIDIA, des pilotes NVIDIA GRID et du plug-in Kubernetes Device Plugin for DirectX de TensorWorks. Les étapes ont été testées et vérifiées afin de fournir une accélération GPU pour vos charges de travail de conteneurs Windows sur Amazon EKS. Consultez Limitations connues pour plus d’informations sur les pilotes et les plug-ins d’appareils compatibles. Avant de démarrer, notez les points suivants :

Prérequis

Pour activer l’accélération GPU pour vos conteneurs Windows sur Amazon EKS, vous devez remplir les conditions suivantes avant de continuer :

Installation du pilote GPU sur chaque nœud Windows

Pour installer les pilotes NVIDIA GRID sur vos composants master EKS, suivez les étapes décrites dans Pilotes NVIDIA pour votre instance Amazon EC2. Accédez aux options d’installation – Option 3 : Pilotes GRID et suivez les étapes d’installation.

Installation pour Windows Server Core

Pour Windows Server Core, qui ne dispose pas d’une expérience de bureau, installez les pilotes NVIDIA GRID en mode silencieux à l’aide des commandes suivantes :

$nvidiaInstallerFilePath = nvidia-driver-installer.exe # Replace with path to installer
$installerArguments = "-s -clean -noreboot -noeula"
Start-Process -FilePath $nvidiaInstallerFilePath -ArgumentList $installerArguments -Wait -NoNewWindow -PassThru

Vérification de votre installation

Exécutez la commande PowerShell suivante pour afficher les informations de diagnostic relatives aux GPU de l’instance :

nvidia-smi

Cette commande affiche la version du pilote NVIDIA, ainsi que des informations sur le matériel GPU. Assurez-vous que le résultat de cette commande correspond à la version du pilote NVIDIA GRID que vous pensiez avoir installée.

Déploiement du plug-in du périphérique GPU sur chaque nœud

Pour permettre la détection et l’exposition des ressources GPU aux conteneurs sur vos nœuds Windows, vous aurez besoin d’un plug-in de périphérique. Déployez le plug-in DirectX Device de Tensorworks sur chaque composant master en l’exécutant en tant que DaemonSet dans votre cluster EKS. Suivez le guide d’installation spécifié dans le fichier README.md, qui comprend les étapes suivantes. Il est recommandé de :

Lors de l’exécution de conteneurs accélérés par GPU, le plug-in de périphérique prend en charge deux modes :

Vérification du déploiement du plug-in de l’appareil

Après avoir déployé le plug-in du périphérique, remplacez <namespace> et exécutez la commande suivante pour vérifier que le plug-in DirectX Device Plugin fonctionne correctement sur tous vos nœuds Windows.

kubectl get ds device-plugin-wddm -n <namespace>

Vérifier que les conteneurs sont prêts à être déployés

Une fois que le plug-in DaemonSet du périphérique est exécuté sur les composants master Windows équipés de GPU, utilisez la commande suivante pour vérifier que chaque nœud dispose de GPU allouables. Le nombre correspondant doit correspondre au nombre de périphériques DirectX sur chaque nœud.

kubectl get nodes "-o=custom-columns=NAME:.metadata.name,DirectX:.status.allocatable.directx\.microsoft\.com/display"

Exécution de conteneurs Windows avec accélération par GPU

Avant de lancer vos pods, spécifiez le nom de la ressource directx.microsoft.com/display dans .spec.containers[].resources. Cela indiquera que vos conteneurs nécessitent des capacités compatibles avec le GPU, et le kube-scheduler tentera de placer vos pods sur votre nœud Windows préconfiguré disposant de ressources GPU disponibles.

À titre d’exemple, voir la commande ci-dessous qui lance un Job pour exécuter une simulation Monte Carlo afin d’estimer la valeur de pi. Cet exemple est tiré du référentiel GitHub Kubernetes Device Plugins for DirectX, qui propose plusieurs exemples que vous pouvez exécuter pour tester les capacités GPU de votre nœud Windows.

cat <<EOF | kubectl apply -f -
apiVersion: batch/v1
kind: Job
metadata:
  name: example-cuda-montecarlo-wddm
spec:
  template:
    spec:
      containers:
      - name: example-cuda-montecarlo-wddm
        image: "index.docker.io/tensorworks/example-cuda-montecarlo:0.0.1"
        resources:
          limits:
            directx.microsoft.com/display: 1
      nodeSelector:
        "kubernetes.io/os": windows
      restartPolicy: Never
  backoffLimit: 0
EOF

Limitations connues

Tous les GPU sont utilisables

Tous les GPU de l’instance seront utilisables par chaque conteneur en cours d’exécution sur l’hôte, même si vous demandez un nombre spécifique de GPU pour un conteneur donné. De plus, par défaut, tous les conteneurs exécutés sur l’hôte utilisent le GPU avec l’index 0, même si plusieurs GPU sont disponibles sur le nœud. Ainsi, pour que les tâches multi-GPU fonctionnent correctement, vous devez désigner explicitement le périphérique GPU spécifique à utiliser dans le code de votre application.

La mise en œuvre exacte pour attribuer un périphérique à utiliser pour l’application dépendra du langage de programmation ou du cadre que vous utilisez. Par exemple, si vous utilisez la programmation CUDA, pour sélectionner un GPU spécifique, vous pouvez spécifier explicitement le périphérique à utiliser dans le code de votre application à l’aide de la fonction cudaSetDevice().

La nécessité de spécifier explicitement le périphérique est due à un problème connu affectant les conteneurs Windows. Vous pouvez suivre les progrès réalisés dans la résolution de ce problème dans le numéro #333 de Microsoft/Windows-Containers. Le tableau suivant représente une représentation visuelle et un exemple pratique de ce comportement d’allocation de GPU.

Considérons un scénario dans lequel il existe un seul nœud Windows de l’instance EC2 type g4dn.12xlarge, équipé de quatre GPU. Imaginons un scénario dans lequel trois pods sont lancés sur cette instance. Le tableau montre que, quel que soit le nombre de GPU demandé par chaque conteneur, les trois pods ont accès aux quatre GPU de l’instance et utilisent par défaut le GPU avec l’index de périphérique 0.

Prise en charge du plug-in Kubernetes

L’implémentation officielle par NVIDIA du plug-in pour appareil Kubernetes n’est pas compatible avec Windows. Vous pouvez suivre la progression de l’ajout du support officiel pour Windows dans le numéro #419 de NVIDIA/k8s-device-plug-in.

Limitations des instances de calcul GPU

En fonction de la configuration de votre compte AWS, vous pouvez être soumis à des limites de service concernant le nombre et les types d’instances de calcul GPU Amazon EC2 que vous pouvez lancer. Si vous avez besoin d’une capacité supplémentaire, vous pouvez demander une augmentation de quota.

Doit créer une AMI optimisée pour le GPU pour Windows

Amazon EKS ne fournit aucun composant géré EKS Windows GPU Optimized AMI ou EC2 Image Builder. Vous devrez suivre les étapes décrites dans ce guide pour créer une AMI EKS Windows Optimized personnalisée avec les pilotes GPU requis préinstallés, ou installer les pilotes GPU nécessaires sur vos composants master EKS après avoir lancé vos instances.

Inferentia et Trainium ne sont pas pris en charge

Les charges de travail basées sur AWS Inferentia et AWSTrainium ne sont pas prises en charge sous Windows.