Aidez à améliorer cette page

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Pour contribuer à ce guide de l'utilisateur, cliquez sur le GitHub lien Modifier cette page sur qui se trouve dans le volet droit de chaque page.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Exécutez des conteneurs accélérés par GPU (Windows sur EC2 G-Series)

Découvrez comment exécuter des charges de travail de conteneurs Windows accélérées par GPU sur Amazon EKS (Elastic Kubernetes Service) à l'aide de GPUs NVIDIA avec le plug-in Kubernetes Device pour DirectX by. TensorWorks Pour plus d’informations, consultez Kubernetes Device Plugin for DirectX.

Il existe deux approches principales pour configurer l’accélération GPU pour vos conteneurs Windows :

Les deux approches peuvent être mises à profit en suivant les étapes décrites dans ce guide.

Considérations

Ce guide explique comment installer et configurer l'accélération GPU pour vos conteneurs Windows à l'aide de NVIDIA GPUs, des pilotes NVIDIA GRID et du plug-in Kubernetes Device pour DirectX by. TensorWorks Les étapes ont été testées et vérifiées afin de fournir une accélération GPU pour vos charges de travail de conteneurs Windows sur Amazon EKS. Consultez Limitations connues pour plus d’informations sur les pilotes et les plug-ins d’appareils compatibles. Avant de démarrer, notez les points suivants :

Conditions préalables

Pour activer l’accélération GPU pour vos conteneurs Windows sur Amazon EKS, vous devez remplir les conditions suivantes avant de continuer :

Installez le pilote GPU sur chaque nœud Windows

Pour installer les pilotes NVIDIA GRID sur vos composants master EKS, suivez les étapes décrites dans Pilotes NVIDIA pour votre instance Amazon EC2. Accédez aux options d’installation – Option 3 : Pilotes GRID et suivez les étapes d’installation.

Installation pour Windows Server Core

Pour Windows Server Core, qui ne dispose pas d’une expérience de bureau, installez les pilotes NVIDIA GRID en mode silencieux à l’aide des commandes suivantes :

$nvidiaInstallerFilePath = nvidia-driver-installer.exe # Replace with path to installer
$installerArguments = "-s -clean -noreboot -noeula"
Start-Process -FilePath $nvidiaInstallerFilePath -ArgumentList $installerArguments -Wait -NoNewWindow -PassThru

Vérifiez votre installation

Exécutez la PowerShell commande suivante pour afficher les informations de diagnostic relatives GPUs à l'instance :

nvidia-smi

Cette commande affiche la version du pilote NVIDIA, ainsi que des informations sur le matériel GPU. Assurez-vous que le résultat de cette commande correspond à la version du pilote NVIDIA GRID que vous pensiez avoir installée.

Déploiement du plug-in du périphérique GPU sur chaque nœud

Pour permettre la détection et l’exposition des ressources GPU aux conteneurs sur vos nœuds Windows, vous aurez besoin d’un plug-in de périphérique. Déployez le plug-in DirectX Device de Tensorworks sur chaque nœud de travail en l'exécutant comme DaemonSet dans votre cluster EKS. Suivez le guide d’installation spécifié dans le fichier README.md, qui comprend les étapes suivantes. Il est recommandé de :

Lors de l’exécution de conteneurs accélérés par GPU, le plug-in de périphérique prend en charge deux modes :

Vérification du déploiement du plug-in de l’appareil

Après avoir déployé le plug-in de périphérique, remplacez <namespace> et exécutez la commande suivante pour vérifier que le plug-in de périphérique DirectX fonctionne correctement sur tous vos nœuds Windows.

kubectl get ds device-plugin-wddm -n <namespace>

Vérifier que les conteneurs sont prêts à être déployés

Une fois que le plug-in de l'appareil DaemonSet est en cours d'exécution sur les nœuds de travail Windows alimentés par le GPU, utilisez la commande suivante pour vérifier que chaque nœud est allouable. GPUs Le nombre correspondant doit correspondre au nombre de périphériques DirectX sur chaque nœud.

kubectl get nodes "-o=custom-columns=NAME:.metadata.name,DirectX:.status.allocatable.directx\.microsoft\.com/display"

Exécution de conteneurs Windows avec accélération par GPU

Avant de lancer vos pods, spécifiez le nom de la ressource directx.microsoft.com/display dans .spec.containers[].resources. Cela indiquera que vos conteneurs nécessitent des capacités compatibles avec le GPU, et le kube-scheduler tentera de placer vos pods sur votre nœud Windows préconfiguré disposant de ressources GPU disponibles.

À titre d’exemple, voir la commande ci-dessous qui lance un Job pour exécuter une simulation Monte Carlo afin d’estimer la valeur de pi. Cet exemple provient du GitHub référentiel Kubernetes Device Plugins for DirectX, qui propose plusieurs exemples que vous pouvez exécuter pour tester les capacités du GPU de votre nœud Windows.

cat <<EOF | kubectl apply -f -
apiVersion: batch/v1
kind: Job
metadata:
  name: example-cuda-montecarlo-wddm
spec:
  template:
    spec:
      containers:
      - name: example-cuda-montecarlo-wddm
        image: "index.docker.io/tensorworks/example-cuda-montecarlo:0.0.1"
        resources:
          limits:
            directx.microsoft.com/display: 1
      nodeSelector:
        "kubernetes.io/os": windows
      restartPolicy: Never
  backoffLimit: 0
EOF

Limitations connues

Tous GPUs sont utilisables

Tout ce qui se trouve GPUs sur l'instance sera utilisable par chaque conteneur en cours d'exécution sur l'hôte, même lorsque vous demandez un nombre spécifique de GPUs pour un conteneur donné. En outre, le comportement par défaut est que tous les conteneurs exécutés sur l'hôte utiliseront le GPU avec un indice 0, même s'il y en a plusieurs GPUs disponibles sur le nœud. Ainsi, pour que les tâches multi-GPU fonctionnent correctement, vous devez désigner explicitement le périphérique GPU spécifique à utiliser dans le code de votre application.

La mise en œuvre exacte pour attribuer un périphérique à utiliser pour l’application dépendra du langage de programmation ou du cadre que vous utilisez. Par exemple, si vous utilisez la programmation CUDA, pour sélectionner un GPU spécifique, vous pouvez spécifier explicitement le périphérique à utiliser dans le code de votre application à l'aide de la fonction cudaSetDevice().

La nécessité de spécifier explicitement le périphérique est due à un problème connu affectant les conteneurs Windows. Vous pouvez suivre les progrès réalisés dans la résolution de ce problème dans le numéro #333 de Microsoft/Windows-Containers. Le tableau suivant représente une représentation visuelle et un exemple pratique de ce comportement d’allocation de GPU.

Imaginons un scénario dans lequel il existe un seul nœud Windows de type instance EC2g4dn.12xlarge, qui en contient quatre GPUs. Imaginons un scénario dans lequel trois pods sont lancés sur cette instance. Le tableau montre que quel que soit le nombre de requêtes GPUs demandées par chaque conteneur, les trois pods ont accès aux quatre GPUs de l'instance et utilisent par défaut le GPU avec un index de périphérique 0.

Prise en charge du plug-in Kubernetes

L’implémentation officielle par NVIDIA du plug-in pour appareil Kubernetes n’est pas compatible avec Windows. Vous pouvez suivre la progression de l'ajout du support officiel pour Windows dans le numéro #419 de Nvidia/K8 s-device-plugin .

Limitations des instances de calcul GPU

Selon la configuration de votre AWS compte, vous pouvez avoir des limites de service quant au nombre et au type d'instances de calcul GPU Amazon EC2 que vous pouvez lancer. Si vous avez besoin d’une capacité supplémentaire, vous pouvez demander une augmentation de quota.

Doit créer une AMI optimisée pour le GPU pour Windows

Amazon EKS ne fournit aucun composant géré EKS Windows GPU Optimized AMI ou EC2 Image Builder. Vous devrez suivre les étapes décrites dans ce guide pour créer une AMI EKS Windows Optimized personnalisée avec les pilotes GPU requis préinstallés, ou installer les pilotes GPU nécessaires sur vos composants master EKS après avoir lancé vos instances.

Inferentia et Trainium ne sont pas pris en charge

Les charges de travail basées sur AWS Inferentia et AWS Trainium ne sont pas prises en charge sous Windows.