在 Amazon EKS 上管理 EFA 裝置

Elastic Fabric Adapter (EFA) 是 Amazon EC2 執行個體的網路裝置，可為人工智慧、機器學習和高效能運算 (HPC) 工作負載啟用高效能節點間通訊和 RDMA （遠端直接記憶體存取）。Amazon EKS 支援兩種在 EKS 叢集中管理 EFA 裝置的機制：EFA 動態資源分配 (DRA) 驅動程式 (DRANET) 和 EFA 裝置外掛程式。

建議使用 EFA DRA 驅動程式 (DRANET) 在執行 Kubernetes 1.34 版或更新版本的 EKS 叢集上使用 EKS 受管節點群組或自我管理節點群組進行新部署。EFA DRA 驅動程式可讓您設定拓撲感知配置，將 EFA 介面與其拓撲本機 GPUs 或 Neuron 裝置配對，並支援 Pod 之間的裝置共用。

Karpenter 或 EKS Auto 模式不支援 EFA DRA 驅動程式。使用 EFA 裝置外掛程式搭配 Karpenter 和 EKS Auto 模式。EFA 裝置外掛程式仍然支援 EKS 受管節點群組和自我管理節點。

EFA DRA 驅動程式與 EFA 裝置外掛程式

使用 EFA 介面建立 EKS 節點

當您使用 EFA 介面建立 EKS 節點時，EFA 介面會在執行個體佈建期間連接至執行個體。您可以自訂每個裝置的 EFA 組態，並將置放群組與 Karpenter、EKS 受管節點群組或 EKS 自我管理節點群組搭配使用。使用 Karpenter，您可以透過 傳遞每個網路界面的組態NodeClass。透過 EKS 受管節點群組或自我管理節點，您可以使用啟動範本傳遞每個網路介面的組態。EKS Auto Mode 支援每個裝置 EFA 組態和置放群組。

使用 搭配 efaEnabled設定eksctl佈建 EKS 節點時，所有介面都會設定為介面類型 EFA、建立 EFA 特定的安全群組，並在叢集上安裝 EFA 裝置外掛程式。如果您需要在使用 時自訂每個裝置的 EFA 組態eksctl，建議您使用 `eksctl 對啟動範本的支援。

下列範例示範如何使用 EFA 介面設定NodeClass和啟動範本。這有助於自訂用於 EFA 和標準 IP 型流量的介面。如需每個執行個體類型支援的 EFA 介面數量，以及如何設定它們以取得最大網路頻寬的資訊，請參閱《Amazon EC2 使用者指南》中的為啟用 EFA 的執行個體類型最大化網路頻寬。

Karpenter

中的每個項目都會networkInterfaces指定 networkCardIndex、 deviceIndex和 interfaceType。interfaceType 可以interface用於標準網路介面，也可以efa-only用於專用於 RDMA 流量且未指派 IP 地址的 EFA 介面。設定 networkInterfaces 時，參考 啟動NodePool的執行個體NodeClass會使用此組態，無論 Pod 是否請求vpc.amazonaws.com/efa資源。

使用 Karpenter 而不在 networkInterfaces中指定 時NodeClass，為請求的 Pod 建立的執行個體vpc.amazonaws.com/efa會設定所有介面類型 EFA。

的networkInterfaces組態EC2NodeClass已在 Karpenter 1.11 版中新增。下列範例顯示為具有 1 個 ENA 介面和 8 個僅限 EFA 介面的 P6-B200 執行個體EC2NodeClass設定的 。

apiVersion: karpenter.k8s.aws/v1
kind: EC2NodeClass
metadata:
  name: efa-node-class
spec:
  networkInterfaces:
  - networkCardIndex: 0
    deviceIndex: 0
    interfaceType: interface
  - networkCardIndex: 0
    deviceIndex: 1
    interfaceType: efa-only
  - networkCardIndex: 1
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 2
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 3
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 4
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 5
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 6
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 7
    deviceIndex: 0
    interfaceType: efa-only

EKS 受管節點群組和自我管理節點

透過 EKS 受管節點群組或自我管理節點，您可以使用啟動範本傳遞每個網路介面的組態。

下列範例顯示為具有 1 個 ENA 介面和 8 個僅限 EFA 介面的 P6-B200 執行個體設定的啟動範本。主要網路介面 （網路卡 0、裝置索引 0) 使用 IP 流量的標準interface類型，而其他介面則efa-only用於專用 RDMA 流量。根據您的執行個體類型調整efa-only介面數量。如需每個執行個體類型支援的 EFA 介面數量，請參閱《Amazon EC2 使用者指南》中的啟用 EFA 執行個體類型的網路頻寬最大化。

{
  "LaunchTemplateName": "efa-launch-template",
  "LaunchTemplateData": {
    "InstanceType": "p6-b200.48xlarge",
    "NetworkInterfaces": [
      {
        "NetworkCardIndex": 0,
        "DeviceIndex": 0,
        "InterfaceType": "interface",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 0,
        "DeviceIndex": 1,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 1,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 2,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 3,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 4,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 5,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 6,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 7,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      }
    ]
  }
}

搭配 EFA 使用 EKS 最佳化 AMIs

EKS 最佳化 AL2023 加速 AMIs (NVIDIA 和 Neuron) 和所有 Bottlerocket AMIs 包含使用 EFA 所需的主機層級元件，特別是 aws-efa-installer 安裝的元件。EKS AL2023 和 Bottlerocket AMIs 不包含 EFA DRA 驅動程式或 EFA 裝置外掛程式，而且這些必須分別安裝在叢集上，才能部署工作負載。

保留 IP 地址配置

p5.48xlarge 和 等已啟用 EFA 的執行個體p6-b200.48xlarge支援許多網路介面。根據預設，Amazon VPC CNI 會將 IP 地址分配到所有已啟用 IP 的連接 ENIs，即使 Pod 未主動使用這些地址，也會從您的子網路取用大量 IP 地址。在具有數十個網路介面的執行個體上，這可能會快速耗盡子網路的可用 IP 空間。

若要減少啟用 EFA 節點的 IP 地址使用量，請將您的網路介面設定為efa-only用於主要節點以外的所有介面。僅限 EFA 的介面專用於 RDMA 流量，且沒有指派 IP 地址，因此不會耗用子網路中的地址。如需範例組態，請參閱 Karpenter和 EKS 受管節點群組和自我管理節點。如需每個執行個體類型的建議界面配置，請參閱《Amazon EC2 使用者指南》中的為啟用 EFA 的執行個體類型最大化網路頻寬。

除了使用efa-only介面之外，您還可以設定 Amazon VPC CNI 來限制暖 （預先配置） IP 地址和 ENIs 的數量。根據預設，VPC CNI 會預先配置 ENIs 和 IP 地址的暖集區，以加快 Pod 啟動速度，但在大型執行個體上，可以保留數百個未使用的 IP 地址。在 aws-node DaemonSet 上設定 WARM_IP_TARGET和 WARM_ENI_TARGET環境變數，以控制 CNI 維護的備用 IP 地址和 ENIs 數量。如需這些設定的詳細資訊，請參閱 Amazon VPC CNI 最佳實務。

安裝 EFA DRA 驅動程式 (DRANET)

EFA DRA 驅動程式內建於上游 DRANET 專案中，可提供 Kubernetes DRA 的雲端感知網路裝置管理。本文件中會互換使用 EFA DRA 驅動程式和 DRANET，並參考相同的工具。

EFA DRA 驅動程式會將 EFA 裝置公告為具有驅動程式名稱 dra.net和DeviceClass名稱 的ResourceSlice物件efa.networking.k8s.aws。EFA DRA 驅動程式會在每個節點上以 DaemonSet 身分執行，並自動探索 EFA 裝置。

先決條件

程序

拓撲感知 EFA 和 GPU/Neuron 裝置配置

EFA DRA 驅動程式支援拓撲感知配置，可將 EFA 介面與相同 PCIe 根目錄上的 GPUs 或 Neuron 裝置配對。使用 matchAttribute 限制條件來對齊 EFA 和 GPU 或 Neuron 裝置配置。若要使用此功能，您還必須使用 NVIDIA 或 Neuron DRA 驅動程式。如需詳細資訊，請參閱在 Amazon EKS 上管理 NVIDIA GPU 裝置及在 Amazon EKS 上管理 Neuron 裝置。

下列範例會請求與 1 個 NVIDIA GPU 一致的 1 個 EFA 介面：

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: aligned-efa-nvidia
spec:
  spec:
    devices:
      requests:
      - name: 1-efa
        exactly:
          deviceClassName: efa.networking.k8s.aws
          count: 1
      - name: 1-gpu
        exactly:
          deviceClassName: gpu.nvidia.com
          count: 1
      constraints:
      - requests: ["1-gpu", "1-efa"]
        matchAttribute: "resource.kubernetes.io/pcieRoot"

下列範例會請求與 4 個 Neuron 裝置對齊的 4 個 EFA 介面：

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: aligned-efa-neuron
spec:
  spec:
    devices:
      requests:
      - name: 4-neurons
        exactly:
          deviceClassName: neuron.aws.com
          count: 4
      - name: 4-efas
        exactly:
          deviceClassName: efa.networking.k8s.aws
          count: 4
      constraints:
      - requests: ["4-neurons", "4-efas"]
        matchAttribute: "resource.aws.com/devicegroup4_id"

devicegroup 屬性名稱中的數字對應至已連線拓撲群組中的 Neuron 裝置數量。例如，resource.aws.com/devicegroup1_id識別單一 Neuron 裝置、resource.aws.com/devicegroup4_id識別 4 個連線裝置的群組，resource.aws.com/devicegroup8_id以及分別resource.aws.com/devicegroup16_id識別 8 和 16 個連線裝置的群組。選擇matchAttribute符合您請求count中裝置的 ，讓配置的 Neuron 裝置和 EFA 介面屬於相同的連線拓撲群組。如需這些屬性的詳細資訊，請參閱 Neuron DRA 驅動程式文件。

您可以使用 allocationMode 簡化 EFA 裝置如何配置給對齊的 GPU 或 Neuron 加速器。allocationMode 欄位支援兩個值： ExactCount（預設值） 請求 指定的特定數量的裝置count，並All請求集區中的所有相符裝置。例如，在p5.48xlarge執行個體上，有四個 EFA 裝置與一個 GPU 共用相同的 PCIe 根。若要使用對齊的 GPUs 配置這些 EFA 裝置群組，即使您不知道確切的 EFA-GPU 裝置映射和對齊的 EFA 裝置計數，您也可以ResourceClaimTemplate使用 allocationMode: All 為 EFA 裝置設定您的 。

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: aligned-all-efa-one-nvidia
spec:
  spec:
    devices:
      requests:
      - name: all-efas
        exactly:
          deviceClassName: efa.networking.k8s.aws
          allocationMode: All
      - name: one-gpu
        exactly:
          deviceClassName: gpu.nvidia.com
          allocationMode: ExactCount
          count: 1
      constraints:
      - requests: ["all-efas", "one-gpu"]
        matchAttribute: "resource.kubernetes.io/pcieRoot"

在多個 Pod 之間共用 EFA 裝置

EFA DRA 驅動程式支援使用 在多個 Pod 之間共用 EFA 裝置ResourceClaim。與為每個 Pod ResourceClaimTemplate產生個別宣告的 不同， ResourceClaim是您獨立建立並從多個 Pod 參考的具名物件。所有參考相同ResourceClaim已配置 EFA 裝置共用存取權的 Pod，並排程到提供這些裝置的相同節點。

若要在 Pod 之間共用 EFA 裝置，請建立ResourceClaim請求 EFA 裝置的 ，然後使用 在每個 Pod 的 resourceClaims 欄位中依名稱參考該宣告resourceClaimName。在建立參考叢集的 Pod 之前，叢集中ResourceClaim必須存在 。如果參考ResourceClaim不存在，Pod 會保持待定狀態，直到建立宣告為止。

下列範例會建立ResourceClaim請求 4 個 EFA 裝置的 ，以及兩個共用這些裝置存取權的 Pod。

兩個 Pod 都參考相同的 shared-efaResourceClaim，並排程到配置這些 EFA 裝置的節點。ResourceClaim 生命週期獨立於 Pod，它會持續存在，直到您刪除它為止，即使所有參考它的 Pod 都被移除。

安裝 EFA Kubernetes 裝置外掛程式

EFA Kubernetes 裝置外掛程式會將 EFA 裝置公告為vpc.amazonaws.com/efa延伸資源。您可以在容器資源請求和限制中請求 EFA 裝置。如需使用訓練工作負載設定 EFA 的完整逐步解說，請參閱 使用 Elastic Fabric Adapter 在 Amazon EKS 上執行機器學習訓練。

先決條件

程序