Aidez à améliorer cette page

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Pour contribuer à ce guide de l'utilisateur, cliquez sur le GitHub lien Modifier cette page qui se trouve dans le volet droit de chaque page.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Gérer les appareils Neuron sur Amazon EKS

AWS Trainium et AWS Inferentia sont des puces d'apprentissage automatique spécialement conçues par. AWS Amazon EKS prend en charge deux mécanismes pour gérer les appareils Neuron dans les clusters EKS : le pilote Neuron DRA et le plug-in de périphérique Neuron Kubernetes.

Nous vous recommandons d'utiliser des pilotes DRA pour les nouveaux déploiements avec les versions 1.34 et ultérieures de Kubernetes lorsque vous utilisez le provisionnement de capacité statique dans Karpenter, des groupes de nœuds gérés par EKS ou des nœuds autogérés. Le DRA n'est actuellement pas pris en charge avec le mode automatique EKS. Le pilote Neuron DRA fournit une allocation tenant compte de la topologie, une planification des sous-ensembles de périphériques connectés, une configuration logique NeuronCore (LNC) et une allocation UltraServer multi-nœuds sans nécessiter d'extensions de planificateur personnalisées.

Pilote Neuron DRA ou plug-in de périphérique Neuron

Installez le pilote Neuron DRA

Le pilote Neuron DRA annonce les périphériques Neuron en tant qu'ResourceSliceobjets portant un nom. DeviceClass neuron.aws.com Le pilote s'exécute en tant que DaemonSet et découvre automatiquement les périphériques Neuron et leurs attributs de topologie.

Des informations détaillées sur le pilote Neuron DRA sont disponibles dans la documentation Neuron DRA.

Conditions préalables

Procédure

Consultez la documentation Neuron DRA pour plus d'informations sur les attributs ResourceSlice d'objet disponibles.

Demandez des appareils Neuron dans un Pod

Pour demander des périphériques Neuron à l'aide du pilote DRA, créez un ResourceClaimTemplate qui fait référence au neuron.aws.com DeviceClass et référencez-le dans la spécification de votre Pod.

L'exemple suivant demande à tous les appareils Neuron d'une trn2.48xlarge instance :

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
---
apiVersion: v1
kind: Pod
metadata:
  name: neuron-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: neurons
  resourceClaims:
  - name: neurons
    resourceClaimTemplateName: all-neurons

Allouer des sous-ensembles d'appareils connectés

Le pilote Neuron DRA peut allouer des sous-ensembles de périphériques Neuron connectés sans avoir besoin de l'extension Neuron Scheduler. Les tailles de sous-ensembles prises en charge sont de 1, 4, 8 ou 16 appareils. Utilisez la matchAttribute contrainte avec un ID de groupe de topologie pour vous assurer que les appareils sont connectés.

L'exemple suivant demande 4 appareils Neuron connectés :

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: 1x4-connected-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          allocationMode: ExactCount
          count: 4
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
      constraints:
      - requests: ["neurons"]
        matchAttribute: "resource.aws.com/devicegroup4_id"

Les matchAttribute valeurs prises en charge pour les sous-ensembles connectés sont resource.aws.com/devicegroup1_idresource.aws.com/devicegroup4_id,resource.aws.com/devicegroup8_id, etresource.aws.com/devicegroup16_id. Le numéro indiqué dans le nom de devicegroup l'attribut correspond au nombre de périphériques Neuron dans le groupe de topologie connecté. Par exemple, resource.aws.com/devicegroup1_id identifie un seul appareil Neuron, resource.aws.com/devicegroup4_id identifie un groupe de 4 appareils connectés resource.aws.com/devicegroup8_id et resource.aws.com/devicegroup16_id identifie des groupes de 8 et 16 appareils connectés respectivement. Choisissez celui matchAttribute qui correspond count à l'appareil de votre demande afin que les appareils alloués appartiennent au même groupe de topologie connecté. Pour plus d'informations sur ces attributs, consultez la documentation du pilote Neuron DRA.

Configuration logique NeuronCores (LNC)

Le pilote Neuron DRA permet une NeuronCore configuration logique par charge de travail via ResourceClaimTemplate des paramètres. Il n'est donc pas nécessaire de préconfigurer LNC dans les modèles de lancement EC2.

L'exemple suivant demande à tous les appareils Neuron dont le LNC est réglé sur 1 :

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons-lnc-1
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
      config:
      - requests: ["neurons"]
        opaque:
          driver: neuron.aws.com
          parameters:
            apiVersion: neuron.aws.com/v1
            kind: NeuronConfig
            logicalNeuronCore: 1

Attribuez des appareils Neuron avec des interfaces EFA alignées

Consultez Topology-aware EFA et attribution des GPU/Neuron appareils

Installez le plug-in de périphérique Neuron Kubernetes

Le plug-in Neuron Kubernetes présente les appareils Neuron en tant que ressources étendues. aws.amazon.com/neuron NeuronCores aws.amazon.com/neuroncore Vous demandez des appareils Neuron dans des requêtes et des limites de ressources de conteneur.

Conditions préalables

Procédure

Vérifiez les appareils Neuron à l'aide d'un pod de test

Vous pouvez vérifier que les appareils Neuron sont accessibles en exécutant l'neuron-lsoutil dans un module de test.

Pour plus d'informations sur l'utilisation des appareils Neuron avec Amazon EKS, consultez la documentation Neuron relative à l'exécution sur EKS.