Ayude a mejorar esta página

Para contribuir a esta guía del usuario, elija el enlace Edit this page on GitHub que se encuentra en el panel derecho de cada página.

Administración de los dispositivos Neuron en Amazon EKS

AWS Trainium y AWS Inferentia son chips de machine learning especialmente diseñados por AWS. Amazon EKS admite dos mecanismos para administrar los dispositivos Neuron en los clústeres de EKS: el controlador de DRA de Neuron y el complemento para dispositivos de Kubernetes de Neuron.

Se recomienda utilizar el controlador de DRA de Neuron para las nuevas implementaciones en los clústeres de EKS que ejecuten la versión 1.34 o posterior de Kubernetes. El controlador de DRA de Neuron proporciona una asignación compatible con la topología, programación de subconjuntos de dispositivos conectados, configuración lógica de NeuronCore (LNC) y asignación de varios nodos UltraServer sin necesidad de extensiones de programador personalizadas. El complemento para dispositivos Neuron sigue siendo compatible.

El controlador de DRA de Neuron frente al complemento para dispositivos Neuron

Instalación del controlador de DRA de Neuron

El controlador de DRA de Neuron anuncia los dispositivos Neuron como objetos ResourceSlice con el nombre de DeviceClass neuron.aws.com. El controlador funciona como un DaemOnset y detecta automáticamente los dispositivos Neuron y sus atributos topológicos.

Encontrará información detallada sobre el controlador de DRA de Neuron en la documentación de DRA de Neuron.

Actualmente, no se admite el uso del controlador de DRA de Neuron con Bottlerocket.

Requisitos previos

Procedimiento

Consulte la documentación de DRA de Neuron para obtener información sobre los atributos de los objetos ResourceSlice disponibles.

Solicitud de dispositivos Neuron en un pod

Para solicitar dispositivos Neuron mediante el controlador de DRA, cree un ResourceClaimTemplate que haga referencia al neuron.aws.com DeviceClass y haga referencia a él en la especificación del pod.

En el siguiente ejemplo, se solicitan todos los dispositivos Neuron de una instancia trn2.48xlarge:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
---
apiVersion: v1
kind: Pod
metadata:
  name: neuron-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: neurons
  resourceClaims:
  - name: neurons
    resourceClaimTemplateName: all-neurons

Asignación de subconjuntos de dispositivos conectados

El controlador de DRA de Neuron puede asignar subconjuntos de dispositivos Neuron conectados sin necesidad de la extensión del programador de Neuron. Los tamaños de subconjunto admitidos son de 1, 4, 8 o 16 dispositivos. Use la restricción matchAttribute con un ID de grupo de topología para asegurarse de que los dispositivos estén conectados.

En el siguiente ejemplo, se solicitan 4 dispositivos Neuron conectados:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: 1x4-connected-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          allocationMode: ExactCount
          count: 4
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
      constraints:
      - requests: ["neurons"]
        matchAttribute: "resource.aws.com/devicegroup4_id"

Los valores de matchAttribute admitidos para los subconjuntos conectados son resource.aws.com/devicegroup1_id, resource.aws.com/devicegroup4_id, resource.aws.com/devicegroup8_id y resource.aws.com/devicegroup16_id.

Configuración de NeuronCores lógicos (LNC)

El controlador de DRA de Neuron permite configurar el NeuronCore lógico por carga de trabajo mediante parámetros ResourceClaimTemplate. Esto elimina la necesidad de preconfigurar el LNC en las plantillas de lanzamiento de EC2.

El siguiente ejemplo solicita todos los dispositivos Neuron con el LNC establecido en 1:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons-lnc-1
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
      config:
      - requests: ["neurons"]
        opaque:
          driver: neuron.aws.com
          parameters:
            apiVersion: neuron.aws.com/v1
            kind: NeuronConfig
            logicalNeuronCore: 1

Instalación del complemento para dispositivos de Kubernetes de Neuron

El complemento para dispositivos de Kubernetes de Neuron anuncia los dispositivos Neuron como aws.amazon.com/neuron y los NeuronCores como recursos ampliados de aws.amazon.com/neuroncore. Los dispositivos Neuron se solicitan en límites y solicitudes de recursos de contenedores.

Requisitos previos

Procedimiento

Comprobación de los dispositivos Neuron con un pod de prueba

Para comprobar que se puede acceder a los dispositivos Neuron, ejecute la herramienta neuron-ls en un pod de prueba.

Para obtener más información sobre el uso de dispositivos Neuron con Amazon EKS, consulte la documentación de Neuron para ejecuciones en EKS.