帮助改进此页面

要帮助改进本用户指南，请选择位于每个页面右侧窗格中的在 GitHub 上编辑此页面链接。

在 Amazon EKS 上管理 Neuron 设备

AWS Trainium 和 AWS Inferentia 是由 AWS 专门设计的机器学习芯片。Amazon EKS 支持两种在 EKS 集群中管理 Neuron 设备的机制：Neuron DRA 驱动程序和 Neuron Kubernetes 设备插件。

对于在 Kubernetes 1.34 或更高版本上运行的 EKS 集群上的新部署，建议使用 Neuron DRA 驱动程序。Neuron DRA 驱动程序提供拓扑感知分配、连接设备子集调度、逻辑 NeuronCore（LNC）配置以及 UltraServer 多节点分配，无需自定义调度器扩展。Neuron 设备插件仍受支持。

Neuron DRA 驱动程序与 Neuron 设备插件

安装 Neuron DRA 驱动程序

Neuron DRA 驱动程序将 Neuron 设备作为名称为 DeviceClass、标识为 neuron.aws.com 的 ResourceSlice 对象进行发布。该驱动程序以 DaemonSet 形式运行，并自动发现 Neuron 设备及其拓扑属性。

有关 Neuron DRA 驱动程序的详细信息，请参阅 Neuron DRA 文档。

目前不支持将 Neuron DRA 驱动程序与 Bottlerocket 结合使用。

先决条件

过程

有关 ResourceSlice 可用对象属性的信息，请参阅 Neuron DRA 文档。

在容器组（pod）中请求 Neuron 设备

要使用 DRA 驱动程序请求 Neuron 设备，请创建一个引用 neuron.aws.com DeviceClass 的 ResourceClaimTemplate，并在您的容器组（pod）规约中引用它。

以下示例请求 trn2.48xlarge 实例上的所有 Neuron 设备：

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
---
apiVersion: v1
kind: Pod
metadata:
  name: neuron-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: neurons
  resourceClaims:
  - name: neurons
    resourceClaimTemplateName: all-neurons

分配连接的设备子集

Neuron DRA 驱动程序可以分配连接的 Neuron 设备子集，无需 Neuron 调度器扩展。支持的子集大小为 1、4、8 或 16 个设备。使用带有拓扑组 ID 的 matchAttribute 约束来确保设备已连接。

以下示例请求 4 个连接的 Neuron 设备：

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: 1x4-connected-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          allocationMode: ExactCount
          count: 4
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
      constraints:
      - requests: ["neurons"]
        matchAttribute: "resource.aws.com/devicegroup4_id"

连接子集支持的 matchAttribute 值为 resource.aws.com/devicegroup1_id、resource.aws.com/devicegroup4_id、resource.aws.com/devicegroup8_id 和 resource.aws.com/devicegroup16_id。

配置逻辑 NeuronCore（LNC）

Neuron DRA 驱动程序通过 ResourceClaimTemplate 参数支持每工作负载的逻辑 NeuronCore 配置。这样就无需在 EC2 启动模板中预配置 LNC。

以下示例请求将 LNC 设置为 1 的所有 Neuron 设备：

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons-lnc-1
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
      config:
      - requests: ["neurons"]
        opaque:
          driver: neuron.aws.com
          parameters:
            apiVersion: neuron.aws.com/v1
            kind: NeuronConfig
            logicalNeuronCore: 1

安装 Neuron Kubernetes 设备插件

Neuron Kubernetes 设备插件将 Neuron 设备发布为 aws.amazon.com/neuron 扩展资源，将 NeuronCore 发布为 aws.amazon.com/neuroncore 扩展资源。您需要在容器的资源请求和限制中请求 Neuron 设备。

先决条件

过程

使用测试容器组（pod）验证 Neuron 设备

您可以通过在测试容器组（pod）中运行 neuron-ls 工具来验证 Neuron 设备是否可访问。

有关将 Neuron 设备与 Amazon EKS 结合使用的更多信息，请参阅在 EKS 上运行的 Neuron 文档。