이 페이지 개선에 도움 주기

이 사용자 가이드에 기여하려면 모든 페이지의 오른쪽 창에 있는 GitHub에서 이 페이지 편집 링크를 선택합니다.

Amazon EKS에서 Neuron 디바이스 관리

AWS Trainium 및 AWS Inferentia는 AWS에서 설계한 목적별 기계 학습 칩입니다. Amazon EKS는 EKS 클러스터에서 Neuron 디바이스를 관리하기 위한 두 가지 메커니즘(Neuron DRA 드라이버 및 Neuron Kubernetes 디바이스 플러그인)을 지원합니다.

Kubernetes 버전 1.34 이상을 실행하는 EKS 클러스터의 새 배포에 대해 Neuron DRA 드라이버를 사용하는 것이 좋습니다. Neuron DRA 드라이버는 사용자 지정 스케줄러 확장을 요구하지 않고도 토폴로지 인식 할당, 연결된 디바이스 하위 세트 예약, 논리적 NeuronCore(LNC) 구성 및 UltraServer 다중 노드 할당을 제공합니다. Neuron 디바이스 플러그인은 계속 지원됩니다.

Neuron DRA 드라이버 및 Neuron 디바이스 플러그인 비교

Neuron DRA 드라이버 설치

Neuron DRA 드라이버는 Neuron 디바이스를 DeviceClass 이름이 neuron.aws.com인 ResourceSlice 객체로 알립니다. 드라이버는 DaemonSet로 실행되며 Neuron 디바이스와 해당 토폴로지 속성을 자동으로 검색합니다.

Neuron DRA 드라이버에 대한 자세한 내용은 Neuron DRA 설명서에서 확인할 수 있습니다.

현재 Bottlerocket에서 Neuron DRA 드라이버 사용은 지원되지 않습니다.

사전 조건

절차

사용 가능한 ResourceSlice 객체 속성에 대한 자세한 내용은 Neuron DRA 설명서를 참조하세요.

포드에서 Neuron 디바이스 요청

DRA 드라이버를 사용하여 Neuron 디바이스를 요청하려면 neuron.aws.com DeviceClass를 참조하는 ResourceClaimTemplate를 생성하고 포드 사양에서 이를 참조합니다.

다음 예제에서는 trn2.48xlarge 인스턴스에서 모든 Neuron 디바이스를 요청합니다.

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
---
apiVersion: v1
kind: Pod
metadata:
  name: neuron-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: neurons
  resourceClaims:
  - name: neurons
    resourceClaimTemplateName: all-neurons

연결된 디바이스 하위 세트 할당

Neuron DRA 드라이버는 Neuron 스케줄러 확장을 요구하지 않고도 연결된 Neuron 디바이스의 하위 세트를 할당할 수 있습니다. 지원되는 하위 세트 크기는 1개, 4개, 8개 또는 16개 디바이스입니다. 토폴로지 그룹 ID와 함께 matchAttribute 제약 조건을 사용하여 디바이스가 연결되어 있는지 확인합니다.

다음 예제에서는 연결된 Neuron 디바이스 4개를 요청합니다.

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: 1x4-connected-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          allocationMode: ExactCount
          count: 4
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
      constraints:
      - requests: ["neurons"]
        matchAttribute: "resource.aws.com/devicegroup4_id"

연결된 하위 세트에 대해 지원되는 matchAttribute 값은 resource.aws.com/devicegroup1_id, resource.aws.com/devicegroup4_id, resource.aws.com/devicegroup8_id 및 resource.aws.com/devicegroup16_id입니다.

논리적 NeuronCores(LNC) 구성

Neuron DRA 드라이버는 ResourceClaimTemplate 파라미터를 통해 워크로드별 논리적 NeuronCore 구성을 허용합니다. 따라서 EC2 시작 템플릿에서 LNC를 사전 구성하지 않아도 됩니다.

다음 예제에서는 LNC가 1로 설정된 모든 Neuron 디바이스를 요청합니다.

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons-lnc-1
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
      config:
      - requests: ["neurons"]
        opaque:
          driver: neuron.aws.com
          parameters:
            apiVersion: neuron.aws.com/v1
            kind: NeuronConfig
            logicalNeuronCore: 1

Neuron Kubernetes 디바이스 플러그인 설치

Neuron Kubernetes 디바이스 플러그인은 Neuron 디바이스를 aws.amazon.com/neuron으로, NeuronCores를 aws.amazon.com/neuroncore 확장 리소스로 알립니다. 컨테이너 리소스 요청 및 제한에서 Neuron 디바이스를 요청합니다.

사전 조건

절차

테스트 포드를 사용하여 Neuron 디바이스 확인

테스트 포드에서 neuron-ls 도구를 실행하여 Neuron 디바이스에 액세스할 수 있는지 확인할 수 있습니다.

자세한 내용은 EKS 실행에 대한 Neuron 설명서를 참조하세요.