Amazon EKS で EFA デバイスを管理する

Elastic Fabric Adapter (EFA) は Amazon EC2 インスタンス用のネットワークデバイスであり、人工知能、機械学習、およびハイパフォーマンスコンピューティング (HPC) のワークロード用にハイパフォーマンスのノード間通信と RDMA (リモートダイレクトメモリアクセス) を実現します。Amazon EKS は、EKS クラスターで EFA デバイスを管理できるように、EFA 動的リソース割り当て (DRA) ドライバー (DRANET) と EFA デバイスプラグインという 2 つのメカニズムをサポートしています。

Kubernetes バージョン 1.34 以降を実行している EKS クラスターで EKS マネージドノードグループまたはセルフマネージドノードグループを使用して新たにデプロイする場合は、EFA DRA ドライバー (DRANET) を使用することをお勧めします。EFA DRA ドライバーを使用すると、EFA インターフェイスをトポロジー的にローカルな GPU または Neuron デバイスとペアリングするトポロジー認識割り当てを設定することができ、ポッド間でのデバイス共有がサポートされます。

EFA DRA ドライバーは、Karpenter または EKS オートモードではサポートされていません。Karpenter および EKS オートモードでは EFA デバイスプラグインを使用してください。EFA デバイスプラグインは、EKS マネージドノードグループとセルフマネージドノードでも引き続きサポートされます。

EFA DRA ドライバーと EFA デバイスプラグイン

EFA インターフェイスを備えた EKS ノードを作成する

EFA インターフェイスを備えた EKS ノードを作成すると、インスタンスのプロビジョニング中に EFA インターフェイスがインスタンスにアタッチされます。デバイスごとの EFA 設定をカスタマイズし、Karpenter、EKS マネージドノードグループ、または EKS セルフマネージドノードグループでプレイスメントグループを使用できます。Karpenter では、NodeClass を介して各ネットワークインターフェイスの設定を渡します。EKS マネージドノードグループまたはセルフマネージドノードでは、起動テンプレートを使用して各ネットワークインターフェイスの設定を渡します。EKS オートモードでのデバイスごとの EFA 設定とプレイスメントグループのサポートは間もなく提供される予定です。

eksctl を使用して EKS ノードを efaEnabled 設定にプロビジョニングすると、すべてのインターフェイスがインターフェイスタイプ EFA で設定され、EFA 固有のセキュリティグループが作成されて、EFA デバイスプラグインがクラスターにインストールされます。eksctl の使用時にデバイスごとの EFA 設定をカスタマイズする必要がある場合は、起動テンプレートに eksctl サポートを使用することをお勧めします。

以下の例では、EFA インターフェイスを備えた NodeClass および起動テンプレートを設定する方法を示しています。これは、EFA トラフィックに使用するか標準の IP ベースのトラフィックに使用するかに応じて、インターフェイスをカスタマイズするのに役立ちます。各インスタンスタイプでサポートされる EFA インターフェイスの数、およびネットワーク帯域幅を最大化するための設定方法については、「Amazon EC2 ユーザーガイド」の「EFA 対応インスタンスタイプのネットワーク帯域幅を最大化する」を参照してください。

Karpenter

networkInterfaces の各エントリで、networkCardIndex、deviceIndex、および interfaceType を指定します。interfaceType は、標準ネットワークインターフェイスの場合は interface、RDMA トラフィック専用で IP アドレスの割り当てがない EFA インターフェイスの場合は efa-only になります。networkInterfaces が設定されている場合、NodeClass を参照する NodePool によって起動されたインスタンスは、ポッドが vpc.amazonaws.com/efa リソースをリクエストするかどうかに関係なく、この設定を使用します。

NodeClass で networkInterfaces を指定せずに Karpenter を使用している場合、vpc.amazonaws.com/efa をリクエストするポッド用にインスタンスを作成すると、すべてのインターフェイスがインターフェイスタイプ EFA で設定されます。

Karpenter v1.11 で EC2NodeClass の networkInterfaces 設定が追加されました。次の例は、1 つの ENA インターフェイスと 8 つの EFA 専用インターフェイスを備えた P6-B200 インスタンス用に設定された EC2NodeClass を示しています。

apiVersion: karpenter.k8s.aws/v1
kind: EC2NodeClass
metadata:
  name: efa-node-class
spec:
  networkInterfaces:
  - networkCardIndex: 0
    deviceIndex: 0
    interfaceType: interface
  - networkCardIndex: 0
    deviceIndex: 1
    interfaceType: efa-only
  - networkCardIndex: 1
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 2
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 3
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 4
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 5
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 6
    deviceIndex: 0
    interfaceType: efa-only
  - networkCardIndex: 7
    deviceIndex: 0
    interfaceType: efa-only

EKS マネージドノードグループとセルフマネージドノード

EKS マネージドノードグループまたはセルフマネージドノードでは、起動テンプレートを使用して各ネットワークインターフェイスの設定を渡します。

次の例は、1 つの ENA インターフェイスと 8 つの EFA 専用インターフェイスを備えた P6-B200 インスタンス用に設定された起動テンプレートを示しています。プライマリネットワークインターフェイス (ネットワークカード 0、デバイスインデックス 0) では IP トラフィックに標準の interface タイプを使用し、その他のインターフェイスでは専用の RDMA トラフィックに efa-only を使用しています。efa-only インターフェイスの数は、インスタンスタイプに基づいて調整します。各インスタンスタイプでサポートされる EFA インターフェイスの数については、「Amazon EC2 ユーザーガイド」の「EFA 対応インスタンスタイプのネットワーク帯域幅を最大化する」を参照してください。

{
  "LaunchTemplateName": "efa-launch-template",
  "LaunchTemplateData": {
    "InstanceType": "p6-b200.48xlarge",
    "NetworkInterfaces": [
      {
        "NetworkCardIndex": 0,
        "DeviceIndex": 0,
        "InterfaceType": "interface",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 0,
        "DeviceIndex": 1,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 1,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 2,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 3,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 4,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 5,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 6,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      },
      {
        "NetworkCardIndex": 7,
        "DeviceIndex": 0,
        "InterfaceType": "efa-only",
        "Groups": ["security-group-id"]
      }
    ]
  }
}

EKS 最適化 AMI を EFA と共に使用する

EKS 最適化 AL2023 高速 AMI (NVIDIA および Neuron) とすべての Bottlerocket AMI には、EFA を使用するために必要なホストレベルのコンポーネントが含まれています。これらのコンポーネントは、具体的には aws-efa-installer によってインストールされます。EFA DRA ドライバーまたは EFA デバイスプラグインは EKS AL2023 および Bottlerocket AMI には含まれていないため、ワークロードをデプロイする前にクラスターに別途インストールする必要があります。

IP アドレス割り当てを節約する

p5.48xlarge や p6-b200.48xlarge などの EFA 対応インスタンスは、多くのネットワークインターフェイスをサポートしています。デフォルトでは、Amazon VPC CNI は、IP 対応のすべてのアタッチされた ENI に IP アドレスを割り当てます。これにより、それらのアドレスがポッドで頻繁には使用されない場合でも、サブネットの IP アドレスが大量に消費される可能性があります。多数のネットワークインターフェイスを使用するインスタンスでは、サブネットの使用可能な IP スペースがすぐに枯渇してしまうことがあります。

EFA 対応ノードでの IP アドレスの消費を抑えるには、プライマリ以外のすべてのインターフェイスに efa-only を使用するようにネットワークインターフェイスを設定します。EFA 専用インターフェイスは RDMA トラフィック専用であり、IP アドレスの割り当てがないため、サブネットのアドレスを消費しません。設定例については、「Karpenter」および「EKS マネージドノードグループとセルフマネージドノード」を参照してください。各インスタンスタイプの推奨されるインターフェイスレイアウトについては、「Amazon EC2 ユーザーガイド」の「EFA 対応インスタンスタイプのネットワーク帯域幅を最大化する」を参照してください。

efa-only インターフェイスの使用に加えて、事前に割り当てられるウォーム IP アドレスとウォーム ENI の数を制限するように Amazon VPC CNI を設定することができます。デフォルトでは、ポッドの起動を高速化するために VPC CNI で ENI と IP アドレスのウォームプールが事前に割り当てられますが、大規模なインスタンスでは、これによって数百もの使用されない IP アドレスが予約されることがあります。aws-node DaemonSet で WARM_IP_TARGET および WARM_ENI_TARGET 環境変数を設定して、CNI で保持する予備の IP アドレスと ENI の数を制御します。これらの設定の詳細については、「Amazon VPC CNI のベストプラクティス」を参照してください。

EFA DRA ドライバー (DRANET) をインストールする

EFA DRA ドライバーは、Kubernetes DRA 向けのクラウド対応ネットワークデバイス管理を提供するアップストリームの DRANET プロジェクトに組み込まれています。このドキュメントでは EFA DRA ドライバーと DRANET を同じ意味で使用しており、どちらも同じツールのことを指しています。

EFA DRA ドライバーは、ドライバー名が dra.net で DeviceClass 名が efa.networking.k8s.aws である ResourceSlice オブジェクトとして EFA デバイスをアドバタイズします。EFA DRA ドライバーは、各ノードで DaemonSet として実行され、EFA デバイスを自動的に検出します。

前提条件

手順

EFA と GPU/Neuron デバイスのトポロジー認識割り当て

EFA DRA ドライバーは、EFA インターフェイスを同じ PCIe ルート上の GPU または Neuron デバイスとペアリングするトポロジー認識割り当てをサポートしています。matchAttribute 制約を使用して、EFA と GPU または Neuron デバイスの割り当てをアライメントします。この機能を使用するには、NVIDIA または Neuron DRA ドライバーも使用する必要があります。詳細については、「Amazon EKS で NVIDIA GPU デバイスを管理する」および「Amazon EKS で Neuron デバイスを管理する」を参照してください。

次の例では、1 つの NVIDIA GPU とアライメントされた 1 つの EFA インターフェイスをリクエストしています。

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: aligned-efa-nvidia
spec:
  spec:
    devices:
      requests:
      - name: 1-efa
        exactly:
          deviceClassName: efa.networking.k8s.aws
          count: 1
      - name: 1-gpu
        exactly:
          deviceClassName: gpu.nvidia.com
          count: 1
      constraints:
      - requests: ["1-gpu", "1-efa"]
        matchAttribute: "resource.kubernetes.io/pcieRoot"

次の例では、4 つの Neuron デバイスとアライメントされた 4 つの EFA インターフェイスをリクエストしています。

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: aligned-efa-neuron
spec:
  spec:
    devices:
      requests:
      - name: 4-neurons
        exactly:
          deviceClassName: neuron.aws.com
          count: 4
      - name: 4-efas
        exactly:
          deviceClassName: efa.networking.k8s.aws
          count: 4
      constraints:
      - requests: ["4-neurons", "4-efas"]
        matchAttribute: "resource.aws.com/devicegroup4_id"

devicegroup 属性の名前に含まれる数字は、接続されたトポロジーグループ内の Neuron デバイスの数に対応しています。例えば、resource.aws.com/devicegroup1_id は単一の Neuron デバイスを識別し、resource.aws.com/devicegroup4_id は接続された 4 台のデバイスのグループを識別し、resource.aws.com/devicegroup8_id と resource.aws.com/devicegroup16_id は接続された 8 台と 16 台のデバイスのグループをそれぞれ識別します。割り当てられた Neuron デバイスと EFA インターフェイスが同じ接続トポロジーグループに属するように、リクエスト内のデバイスの count に一致する matchAttribute を選択します。これらの属性の詳細については、Neuron DRA ドライバーのドキュメントを参照してください。

allocationMode を使用して、EFA デバイスをアライメントされた GPU または Neuron アクセラレーターに割り当てる方法を簡素化できます。allocationMode フィールドでは 2 つの値がサポートされます。ExactCount (デフォルト) は count で指定された特定の数のデバイスをリクエストし、All はプール内のすべての一致するデバイスをリクエストします。例えば、p5.48xlarge インスタンスには、1 つの GPU で同じ PCIe ルートを共有する 4 つの EFA デバイスがあります。これらの EFA デバイスのグループをアライメントされた GPU で割り当てる場合、正確な EFA-GPU デバイスマッピングやアライメントされた EFA デバイスの数がわからなくても、ResourceClaimTemplate で EFA デバイスに allocationMode: All を設定することができます。

apiVersion: resource.k8s.io/v1
kind: ResourceClaimTemplate
metadata:
  name: aligned-all-efa-one-nvidia
spec:
  spec:
    devices:
      requests:
      - name: all-efas
        exactly:
          deviceClassName: efa.networking.k8s.aws
          allocationMode: All
      - name: one-gpu
        exactly:
          deviceClassName: gpu.nvidia.com
          allocationMode: ExactCount
          count: 1
      constraints:
      - requests: ["all-efas", "one-gpu"]
        matchAttribute: "resource.kubernetes.io/pcieRoot"

複数のポッド間で EFA デバイスを共有する

EFA DRA ドライバーは、ResourceClaim を使用して複数のポッド間での EFA デバイスの共有をサポートします。ポッドごとに個別のクレームを生成する ResourceClaimTemplate とは異なり、ResourceClaim は、個別に作成して複数のポッドから参照する名前付きオブジェクトです。同じ ResourceClaim を参照するすべてのポッドで、割り当てられた同じ EFA デバイスへのアクセスを共有し、それらのデバイスが使用可能な同じノードにスケジュールされます。

ポッド間で EFA デバイスを共有するには、EFA デバイスをリクエストする ResourceClaim を作成し、そのクレームを各ポッドの resourceClaims フィールドで resourceClaimName を使用して名前で参照します。ResourceClaim は、それを参照するポッドの作成前にクラスターに存在している必要があります。参照している ResourceClaim が存在しない場合、ポッドはクレームが作成されるまで保留状態になります。

次の例では、4 つの EFA デバイスをリクエストする ResourceClaim とそれらのデバイスへのアクセスを共有する 2 つのポッドを作成します。

両方のポッドが同じ shared-efa ResourceClaim を参照し、それらの EFA デバイスが割り当てられたノードにスケジュールされます。ResourceClaim のライフサイクルはポッドとは無関係です。このクレームは、それを参照するすべてのポッドが削除されても、削除するまで保持されます。

EFA Kubernetes デバイスプラグインをインストールする

EFA Kubernetes デバイスプラグインは、EFA デバイスを vpc.amazonaws.com/efa 拡張リソースとしてアドバタイズします。コンテナリソースのリクエストや制限の際に EFA デバイスをリクエストします。トレーニングワークロードで EFA を設定する詳細なチュートリアルについては、「Elastic Fabric Adapter を使用して Amazon EKS で機械学習トレーニングを実行する」を参照してください。

前提条件

手順