Aidez à améliorer cette page

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Pour contribuer à ce guide de l'utilisateur, cliquez sur le GitHub lien Modifier cette page sur qui se trouve dans le volet droit de chaque page.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Gérez les appareils Neuron sur Amazon EKS

AWS Trainium et AWS Inferentia sont des puces d'apprentissage automatique spécialement conçues par. AWS Amazon EKS prend en charge deux mécanismes de gestion des appareils Neuron dans les clusters EKS : le pilote Neuron DRA et le plug-in d'appareil Neuron Kubernetes.

Il est recommandé d'utiliser le pilote Neuron DRA pour les nouveaux déploiements sur des clusters EKS exécutant Kubernetes version 1.34 ou ultérieure. Le pilote Neuron DRA fournit une allocation tenant compte de la topologie, une planification de sous-ensembles de périphériques connectés, une configuration logique NeuronCore (LNC) et une allocation UltraServer multi-nœuds sans nécessiter d'extensions de planificateur personnalisées. Le plug-in de l'appareil Neuron reste compatible.

Pilote Neuron DRA ou plug-in de périphérique Neuron

Installez le pilote Neuron DRA

Le pilote Neuron DRA présente les appareils Neuron sous la forme d'ResourceSliceobjets portant ce nom. DeviceClass neuron.aws.com Le pilote s'exécute en tant que DaemonSet et découvre automatiquement les périphériques Neuron et leurs attributs topologiques.

Des informations détaillées sur le pilote Neuron DRA sont disponibles dans la documentation Neuron DRA.

L'utilisation du pilote Neuron DRA avec Bottlerocket n'est actuellement pas prise en charge.

Conditions préalables

Procédure

Consultez la documentation Neuron DRA pour plus d'informations sur les attributs ResourceSlice d'objet disponibles.

Demandez des appareils Neuron dans un Pod

Pour demander des appareils Neuron à l'aide du pilote DRA, créez-en un ResourceClaimTemplate qui y fait référence neuron.aws.com DeviceClass et le référencez dans les spécifications de votre Pod.

L'exemple suivant demande tous les appareils Neuron d'une trn2.48xlarge instance :

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
---
apiVersion: v1
kind: Pod
metadata:
  name: neuron-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: neurons
  resourceClaims:
  - name: neurons
    resourceClaimTemplateName: all-neurons

Allouer des sous-ensembles d'appareils connectés

Le pilote Neuron DRA peut allouer des sous-ensembles de périphériques Neuron connectés sans avoir besoin de l'extension Neuron Scheduler. Les tailles de sous-ensembles prises en charge sont 1, 4, 8 ou 16 appareils. Utilisez la matchAttribute contrainte avec un ID de groupe topologique pour vous assurer que les appareils sont connectés.

L'exemple suivant demande 4 appareils Neuron connectés :

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: 1x4-connected-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          allocationMode: ExactCount
          count: 4
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
      constraints:
      - requests: ["neurons"]
        matchAttribute: "resource.aws.com/devicegroup4_id"

Les matchAttribute valeurs prises en charge pour les sous-ensembles connectés sont resource.aws.com/devicegroup1_idresource.aws.com/devicegroup4_id,resource.aws.com/devicegroup8_id, etresource.aws.com/devicegroup16_id.

Configuration logique NeuronCores (LNC)

Le pilote Neuron DRA permet une NeuronCore configuration logique par charge de travail via ResourceClaimTemplate des paramètres. Il n'est donc plus nécessaire de préconfigurer LNC dans les modèles de lancement EC2.

L'exemple suivant demande tous les appareils Neuron dont le LNC est défini sur 1 :

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons-lnc-1
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
      config:
      - requests: ["neurons"]
        opaque:
          driver: neuron.aws.com
          parameters:
            apiVersion: neuron.aws.com/v1
            kind: NeuronConfig
            logicalNeuronCore: 1

Installez le plug-in pour appareil Neuron Kubernetes

Le plug-in pour appareils Neuron Kubernetes annonce les appareils Neuron au fur et à mesure des ressources étendues. aws.amazon.com/neuron NeuronCores aws.amazon.com/neuroncore Vous demandez des appareils Neuron dans les demandes de ressources et les limites des conteneurs.

Conditions préalables

Procédure

Vérifiez les appareils Neuron à l'aide d'un module de test

Vous pouvez vérifier que les appareils Neuron sont accessibles en exécutant l'neuron-lsoutil dans un module de test.

Pour plus d'informations sur l'utilisation des appareils Neuron avec Amazon EKS, consultez la documentation Neuron relative à l'exécution sur EKS.