協助改進此頁面

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

若要為本使用者指南貢獻內容，請點選每個頁面右側面板中的在 GitHub 上編輯此頁面連結。

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

在 Amazon EKS 上管理 Neuron 裝置

AWS Trainium 和 AWS Inferentia 是由 設計的專用機器學習晶片 AWS。Amazon EKS 支援兩種在 EKS 叢集中管理 Neuron 裝置的機制：Neuron DRA 驅動程式和 Neuron Kubernetes 裝置外掛程式。

建議在執行 Kubernetes 1.34 版或更新版本的 EKS 叢集上使用 Neuron DRA 驅動程式進行新部署。Neuron DRA 驅動程式提供拓撲感知配置、連線裝置子集排程、邏輯 NeuronCore (LNC) 組態，以及 UltraServer 多節點配置，而不需要自訂排程器延伸。Neuron 裝置外掛程式仍受支援。

Neuron DRA 驅動程式與 Neuron 裝置外掛程式

安裝 Neuron DRA 驅動程式

Neuron DRA 驅動程式會將 Neuron 裝置公告為DeviceClass名稱為 的ResourceSlice物件neuron.aws.com。驅動程式會以 DaemonSet 的形式執行，並自動探索 Neuron 裝置及其拓撲屬性。

如需 Neuron DRA 驅動程式的詳細資訊，請參閱 Neuron DRA 文件。

目前不支援將 Neuron DRA 驅動程式與 Bottlerocket 搭配使用。

先決條件

程序

如需可用ResourceSlice物件屬性的資訊，請參閱 Neuron DRA 文件。

在 Pod 中請求 Neuron 裝置

若要使用 DRA 驅動程式請求 Neuron 裝置，請建立參考 的 ResourceClaimTemplate，neuron.aws.comDeviceClass並在 Pod 規格中參考它。

下列範例會請求trn2.48xlarge執行個體上的所有 Neuron 裝置：

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
---
apiVersion: v1
kind: Pod
metadata:
  name: neuron-workload
spec:
  containers:
  - name: app
    ...
    resources:
      claims:
      - name: neurons
  resourceClaims:
  - name: neurons
    resourceClaimTemplateName: all-neurons

配置連線的裝置子集

Neuron DRA 驅動程式可以配置已連線 Neuron 裝置的子集，而不需要 Neuron 排程器延伸。支援的子集大小為 1、4、8 或 16 個裝置。使用matchAttribute限制條件搭配拓撲群組 ID，以確保裝置已連線。

下列範例會請求 4 個連線的 Neuron 裝置：

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: 1x4-connected-neurons
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          allocationMode: ExactCount
          count: 4
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
      constraints:
      - requests: ["neurons"]
        matchAttribute: "resource.aws.com/devicegroup4_id"

連線子集支援matchAttribute的值為 resource.aws.com/devicegroup1_id、resource.aws.com/devicegroup8_id、 resource.aws.com/devicegroup4_id和 resource.aws.com/devicegroup16_id。

設定邏輯 NeuronCores (LNC)

Neuron DRA 驅動程式允許透過ResourceClaimTemplate參數進行每個工作負載的 Logical NeuronCore 組態。這不需要在 EC2 啟動範本中預先設定 LNC。

下列範例會請求 LNC 設為 1 的所有 Neuron 裝置：

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: all-neurons-lnc-1
spec:
  spec:
    devices:
      requests:
      - name: neurons
        exactly:
          deviceClassName: neuron.aws.com
          selectors:
          - cel:
              expression: "device.attributes['neuron.aws.com'].instanceType == 'trn2.48xlarge'"
          allocationMode: All
      config:
      - requests: ["neurons"]
        opaque:
          driver: neuron.aws.com
          parameters:
            apiVersion: neuron.aws.com/v1
            kind: NeuronConfig
            logicalNeuronCore: 1

安裝 Neuron Kubernetes 裝置外掛程式

Neuron Kubernetes 裝置外掛程式會將 Neuron 裝置公告為 aws.amazon.com/neuron，並將 NeuronCores 公告為aws.amazon.com/neuroncore延伸資源。您可以在容器資源請求和限制中請求 Neuron 裝置。

先決條件

程序

使用測試 Pod 驗證 Neuron 裝置

您可以在測試 Pod 中執行 neuron-ls工具，以驗證 Neuron 裝置是否可存取。

如需搭配 Amazon EKS 使用 Neuron 裝置的詳細資訊，請參閱用於在 EKS 上執行的 Neuron 文件。