Ajudar a melhorar esta página

Para contribuir com este guia de usuário, escolha o link Editar esta página no GitHub, disponível no painel direito de cada página.

Gerenciar dispositivos Neuron no Amazon EKS

O AWS Trainium e o AWS Inferentia são chips de machine learning com propósito específico desenvolvidos pela AWS. O Amazon EKS oferece suporte a dois mecanismos para gerenciar dispositivos Neuron em clusters do EKS: o driver Neuron DRA e o plug-in de dispositivo Neuron para o Kubernetes.

Recomenda-se usar o driver Neuron DRA para novas implantações em clusters do EKS que executem o Kubernetes versão 1.34 ou posterior. O driver Neuron DRA oferece alocação com reconhecimento de topologia, agendamento de subconjuntos de dispositivos conectados, configuração do Logical NeuronCore (LNC) e alocação em vários nós do UltraServer sem a necessidade de extensões personalizadas do agendador. O plug-in do dispositivo Neuron continua com suporte.

Driver DRA do Neuron x plug-in do dispositivo Neuron

Instale o driver do Neuron DRA

O driver Neuron DRA apresenta os dispositivos Neuron como objetos ResourceSlice com o nome DeviceClass neuron.aws.com. O driver é executado como um DaemonSet e detecta automaticamente os dispositivos Neuron e seus atributos de topologia.

Informações detalhadas sobre o driver Neuron DRA estão disponíveis na documentação do Neuron DRA.

Atualmente, o uso do driver Neuron DRA com o Bottlerocket não é compatível.

Pré-requisitos

Procedimento

Consulte a documentação do Neuron DRA para obter informações sobre os atributos de objetos ResourceSlice disponíveis.

Solicitar dispositivos Neuron em um Pod

Para solicitar dispositivos Neuron usando o driver DRA, crie um ResourceClaimTemplate que faça referência a neuron.aws.com DeviceClass e inclua-o na especificação do seu Pod.

O exemplo a seguir solicita todos os dispositivos Neuron em uma instância trn2.48xlarge:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
---
apiVersion: v1
kind: Pod
metadata:
  name: neuron-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: neurons
  resourceClaims:
  - name: neurons
    resourceClaimTemplateName: all-neurons

Alocar subconjuntos de dispositivos conectados

O driver Neuron DRA pode alocar subconjuntos de dispositivos Neuron conectados sem a necessidade da extensão do agendador Neuron. Os tamanhos de subconjuntos suportados são 1, 4, 8 ou 16 dispositivos. Use a restrição matchAttribute com um ID de grupo de topologia para garantir que os dispositivos estejam conectados.

O exemplo a seguir solicita 4 dispositivos Neuron conectados:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: 1x4-connected-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          allocationMode: ExactCount
          count: 4
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
      constraints:
      - requests: ["neurons"]
        matchAttribute: "resource.aws.com/devicegroup4_id"

Os valores matchAttribute com suporte para subconjuntos conexos são resource.aws.com/devicegroup1_id, resource.aws.com/devicegroup4_id, resource.aws.com/devicegroup8_id e resource.aws.com/devicegroup16_id.

Configurar NeuronCores lógicos (LNC)

O driver Neuron DRA permite a configuração do Logical NeuronCore por workload por meio de parâmetros ResourceClaimTemplate. Isso elimina a necessidade de pré-configurar o LNC nos modelos de lançamento do EC2.

O exemplo a seguir solicita todos os dispositivos Neuron com o LNC definido como 1:

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons-lnc-1
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
      config:
      - requests: ["neurons"]
        opaque:
          driver: neuron.aws.com
          parameters:
            apiVersion: neuron.aws.com/v1
            kind: NeuronConfig
            logicalNeuronCore: 1

Instalar o plug-in de dispositivos do Neuron para Kubernetes

O plug-in de dispositivo Neuron para Kubernetes expõe dispositivos Neuron como aws.amazon.com/neuron e os NeuronCores como recursos estendidos aws.amazon.com/neuroncore. Você solicita dispositivos Neuron nas solicitações e limites de recursos de contêineres.

Pré-requisitos

Procedimento

Verifique os dispositivos Neuron com um Pod de teste

Você pode verificar se os dispositivos Neuron estão acessíveis executando a ferramenta neuron-ls em um Pod de teste.

Para obter mais informações sobre como usar dispositivos Neuron com o Amazon EKS, consulte a documentação do Neuron sobre a execução no EKS.