Aidez à améliorer cette page

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Pour contribuer à ce guide de l'utilisateur, cliquez sur le GitHub lien Modifier cette page qui se trouve dans le volet droit de chaque page.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utiliser des GPU multi-instances (MIG) avec des GPU NVIDIA sur Amazon EKS

Multi-Instance Le GPU (MIG) est une fonctionnalité matérielle des GPU NVIDIA qui partitionne un seul GPU physique en plusieurs instances isolées. Le nombre maximum d'instances partitionnées dépend du GPU. Chaque instance possède une mémoire dédiée, des unités de calcul et une bande passante mémoire, de sorte qu'une charge de travail exécutée sur une instance ne peut pas affecter la charge de travail d'une autre. Contrairement au découpage temporel, qui partage un GPU par le biais d'un multiplexage temporel logiciel sans isolation, le MIG fournit une mémoire au niveau matériel et une isolation des pannes entre les Pods.

Le MIG convient parfaitement à l'inférence multi-tenant et aux charges de travail nécessitant une qualité de service prévisible. Il est disponible sur les GPU NVIDIA Ampere (A100), Hopper (H100 et H200) et Blackwell. AWS Activé, il s'agit des types d' P-family g7einstance Blackwell-based g7 et des types d'instances. Pour obtenir la liste complète, consultez MIG-capable types d'instances.

Le MIG convient parfaitement lorsque :

Envisagez une approche différente lorsque :

Considérations

Prenez en compte les points suivants avant d'utiliser MIG en production.

Considérations d’ordre général

Considérations relatives aux plug-ins pour appareils NVIDIA

Considérations relatives au pilote NVIDIA DRA

MIG-capable types d'instances

Activé AWS, les types d'instance suivants fournissent des MIG-capable GPU.

Le MIG n'est pas disponible sur les g6e familles g5g6,, ou. Pour p6e-gb200 UltraServers, qui utilisent le GPU MIG-capable NVIDIA GB200, voirÀ utiliser P6e-GB200 UltraServers avec Amazon EKS.

Les instances MIG sont décrites par des profils qui utilisent le modèle de dénomination<slices>g.<memory>gb, où <slices> est le nombre de tranches de calcul et <memory> la mémoire de l'instance en gigaoctets. Par exemple, le 3g.40gb profil fournit trois des sept tranches de calcul et 40 Go de mémoire. Les profils pris en charge par chaque GPU sont fixés par le matériel. Pour la liste complète, consultez le guide de l'utilisateur du Multi-Instance GPU NVIDIA sur le site Web de NVIDIA.

Profils MIG par type d'instance

Les profils MIG disponibles sur un nœud dépendent du GPU utilisé pour le type d'instance. Les sections suivantes répertorient les profils pour chaque type d'instance MIG-capable Amazon EC2. Pour chaque profil, le nombre maximum d'instances est le nombre maximum d'instances de ce profil que vous pouvez créer sur un seul GPU, et la mémoire par instance est la mémoire GPU allouée à chacun d'eux.

Le RTX PRO 4500 Blackwell prend également en charge les variantes de profil avec fonction graphique (+gfx) et avec moteur multimédia (,). +me.all -me Pour la liste complète, consultez les profils MIG pris en charge par NVIDIA sur le site Web de NVIDIA.

Le RTX PRO 6000 Blackwell Server Edition prend également en charge les variantes de profil graphiques (+gfx) et de moteur multimédia (,). +me.all -me Pour la liste complète, consultez les profils MIG pris en charge par NVIDIA sur le site Web de NVIDIA.

Stratégies MIG

Le pilote NVIDIA DRA et le plug-in de périphérique NVIDIA exposent les instances MIG à Kubernetes de différentes manières. Le plug-in de périphérique utilise un paramètre de stratégie MIG à l'échelle du nœud, tandis que le pilote DRA n'a aucun paramètre équivalent car il sélectionne les instances en fonction de leurs attributs. Comprendre cette différence est essentiel pour choisir entre les deux modèles.

pilote NVIDIA DRA

Le pilote NVIDIA DRA n'utilise pas le concept de stratégie unique ou mixte, et il n'existe aucun paramètre équivalent à configurer. Au lieu de publier les instances MIG en tant que ressources comptées, le pilote publie chaque instance en tant que périphérique dans le mig.nvidia.com DeviceClass avec des attributs tels que le sienprofile. Les pods sélectionnent une instance en faisant correspondre ces attributs aux sélecteurs CEL (Common Expression Language) placés dans un ResourceClaim ouResourceClaimTemplate, comme indiqué dansUtiliser MIG avec le pilote NVIDIA DRA.

Comme la sélection s'effectue par instance, les nœuds à profil mixte fonctionnent sans changement de mode de stratégie. Un seul GPU peut être partitionné en plusieurs profils différents, et chaque demande sélectionne le profil dont elle a besoin. Le choix qui compte pour le pilote DRA n'est pas une stratégie unique ou mixte, mais un MIG statique par rapport à une stratégie MIG dynamique, qui permet de déterminer si vous pré-créez les instances MIG ou si le pilote les crée à la demande. Pour de plus amples informations, veuillez consulter Utiliser MIG avec le pilote NVIDIA DRA.

Plug-in pour appareil NVIDIA

Le plug-in de périphérique NVIDIA annonce les instances MIG à Kubernetes en utilisant l'une des deux stratégies suivantes. Étant donné que le plug-in de périphérique expose les instances MIG en tant que ressources étendues au niveau des nœuds, qui ne comportent qu'un nombre entier et aucun attribut par instance, la stratégie détermine la façon dont ces ressources sont nommées.

Utiliser MIG avec le pilote NVIDIA DRA

Lors de l'allocation d'instances MIG à l'aide du pilote NVIDIA DRA, les Pods demandent une instance MIG via un ResourceClaim ou ResourceClaimTemplate plutôt que la ressource étendue du plug-in de nvidia.com/mig-<profile> l'appareil.

Étant donné que le pilote DRA décrit les instances en fonction de leurs attributs plutôt que comme des ressources comptées, il n'utilise pas la stratégie unique ou mixte requise par le plug-in du périphérique (voirStratégies MIG). Le pilote expose chaque instance MIG en tant que périphérique mig.nvidia.com DeviceClass avec un gpu.nvidia.com/type attribut demig, et annonce des attributs par instance tels que le profile (par exemple1g.5gb) et le parentUUID du GPU physique. Vous associez ces attributs à des sélecteurs CEL (Common Expression Language) pour demander un profil spécifique ou pour conserver plusieurs instances sur le même GPU.

Le pilote DRA alloue les instances MIG selon l'un des deux modes suivants :

Considérations

Conditions préalables

Procédure

Les exemples suivants peuvent être utilisés avec un MIG statique ou dynamique et le pilote NVIDIA DRA.

Demander un profil MIG spécifique

Pour demander un profil spécifique au lieu de n'importe quelle instance disponible, ajoutez un sélecteur CEL correspondant à l'profileattribut. Ce qui suit ResourceClaimTemplate demande une 1g.5gb instance et le Pod y fait référence.

cat <<EOF | kubectl apply -f -
apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: mig-profile-1g.5gb
spec:
  spec:
    devices:
      requests:
      - name: mig
        exactly:
          deviceClassName: mig.nvidia.com
          selectors:
          - cel:
              expression: "device.attributes['gpu.nvidia.com'].profile == '1g.5gb'"
---
apiVersion: v1
kind: Pod
metadata:
  name: mig-profile-pod
spec:
  tolerations:
    - key: nvidia.com/gpu
      operator: Exists
      effect: NoSchedule
  containers:
    - name: cuda
      image: nvidia/cuda:12.6.0-base-ubuntu22.04
      command: ["nvidia-smi", "-L"]
      resources:
        claims:
        - name: mig
  resourceClaims:
    - name: mig
      resourceClaimTemplateName: mig-profile-1g.5gb
  restartPolicy: OnFailure
EOF

Demander plusieurs instances MIG à partir du même GPU

Pour vous assurer que plusieurs instances MIG d'une seule réclamation proviennent du même GPU physique, ajoutez un constraints bloc avecmatchAttribute: "gpu.nvidia.com/parentUUID". Ce qui suit ResourceClaimTemplate demande une 1g.5gb instance et une 2g.10gb instance à partir du même GPU, et le Pod fait référence à la réclamation. Comme le conteneur fait référence à la revendication sans nommer de demande spécifique, il reçoit les deux instances MIG.

cat <<EOF | kubectl apply -f -
apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: multi-mig
spec:
  spec:
    devices:
      requests:
      - name: mig-small
        exactly:
          deviceClassName: mig.nvidia.com
          selectors:
          - cel:
              expression: "device.attributes['gpu.nvidia.com'].profile == '1g.5gb'"
      - name: mig-medium
        exactly:
          deviceClassName: mig.nvidia.com
          selectors:
          - cel:
              expression: "device.attributes['gpu.nvidia.com'].profile == '2g.10gb'"
      constraints:
      - requests: []
        matchAttribute: "gpu.nvidia.com/parentUUID"
---
apiVersion: v1
kind: Pod
metadata:
  name: multi-mig-pod
spec:
  tolerations:
    - key: nvidia.com/gpu
      operator: Exists
      effect: NoSchedule
  containers:
    - name: cuda
      image: nvidia/cuda:12.6.0-base-ubuntu22.04
      command: ["nvidia-smi", "-L"]
      resources:
        claims:
        - name: mig
  resourceClaims:
    - name: mig
      resourceClaimTemplateName: multi-mig
  restartPolicy: OnFailure
EOF

Utilisez MIG sur les nœuds Bottlerocket avec le plug-in de périphérique NVIDIA

Sur Bottlerocket, l'AMI EKS-optimized accélérée inclut le plug-in de périphérique NVIDIA. Vous activez MIG avec la stratégie unique via les settings.kubelet-device-plugins.nvidia paramètres. Bottlerocket prend en charge le MIG dans la version 1.34.0 et les versions ultérieures.

Conditions préalables

Procédure

Ajoutez le paramètre de partitionnement MIG aux données utilisateur de Bottlerocket pour vos nœuds GPU. La manière dont vous fournissez les données utilisateur dépend de la manière dont vous approvisionnez les nœuds. L'exemple suivant montre un Karpenter EC2NodeClass pour les p4d.24xlarge nœuds.

cat <<EOF | kubectl apply -f -
apiVersion: karpenter.k8s.aws/v1
kind: EC2NodeClass
metadata:
  name: gpu-bottlerocket-mig
spec:
  amiFamily: Bottlerocket
  amiSelectorTerms:
    - alias: bottlerocket@latest
  role: eksctl-KarpenterNodeRole-<cluster-name>
  subnetSelectorTerms:
    - tags:
        karpenter.sh/discovery: <cluster-name>
  securityGroupSelectorTerms:
    - tags:
        karpenter.sh/discovery: <cluster-name>
  userData: |
    [settings.kubelet-device-plugins.nvidia]
    device-partitioning-strategy = "mig"

    [settings.kubelet-device-plugins.nvidia.mig.profile]
    "a100.40gb" = "2g.10gb"
EOF

Lorsque les nœuds configurés avec ces paramètres rejoignent le cluster, le mode MIG est activé sur les GPU, chaque GPU est partitionné en 2g.10gb instances et le plug-in de l'appareil annonce les instances résultantes comme ressource. nvidia.com/gpu Étant donné que a p4d.24xlarge possède huit GPU A100 et que chacun prend en charge trois 2g.10gb instances, le nœud fait de la publicité. nvidia.com/gpu: 24

Utiliser MIG sur les nœuds AL2023 avec le plug-in de périphérique NVIDIA

Sur AL2023, les étapes suivantes utilisent l'opérateur GPU NVIDIA pour installer le plug-in de périphérique NVIDIA et le MIG Manager. Le MIG Manager active le mode MIG et partitionne les GPU en fonction d'une configuration que vous fournissez. Le plug-in de périphérique NVIDIA annonce ensuite les instances résultantes à Kubernetes. L'opérateur GPU prend en charge les stratégies simples et mixtes.

Étant donné que l'AMI NVIDIA EKS-optimized AL2023 inclut déjà le pilote et la boîte à outils NVIDIA, désactivez la gestion des pilotes dans l'opérateur GPU pour éviter tout conflit avec le pilote préinstallé. Vous pouvez également installer et gérer vous-même le plug-in de périphérique NVIDIA et MIG Manager sans utiliser l'opérateur GPU.

Conditions préalables

Procédure

Pour obtenir des exemples complets de configuration à stratégies mixtes pour les P-family instances, y compris des groupes de nœuds gérés avec des réservations de capacité et des charges de travail par profil, consultez la section MIG du guide des meilleures pratiques Amazon EKS.

Vérifiez que MIG est actif

Une fois vos MIG-enabled nœuds terminésReady, vérifiez que le mode MIG est actif sur les GPU et que le nœud annonce les ressources MIG attendues.