Unterstützung für die Verbesserung dieser Seite beitragen

Um zu diesem Benutzerhandbuch beizutragen, klicken Sie auf den Link Diese Seite auf GitHub bearbeiten, der sich im rechten Bereich jeder Seite befindet.

Ausführung von Machine-Learning-Trainings in Amazon EKS mit Elastic Fabric Adapter

In diesem Thema wird beschrieben, wie Elastic Fabric Adapter (EFA) in Pods integriert werden, die in Ihrem Amazon-EKS-Cluster bereitgestellt werden. Elastic Fabric Adapter (EFA) ist eine Netzwerkschnittstelle für Amazon-EC2-Instances, mit der Sie Anwendungen ausführen können, die eine hohe Kommunikation zwischen den Knoten erfordern in einer Größenordunung von AWS Die speziell für die Umgehung von Betriebssystemen entwickelte Hardware-Schnittstelle verbessert die Leistung der Instance-übergreifenden Kommunikation, was für die Skalierung dieser Anwendungen von entscheidender Bedeutung ist. Mit EFA können High Performance Computing (HPC)-Anwendungen, die die Message Passing Interface (MPI) und Machine Learning (ML)-Anwendungen verwenden, die NVIDIA Collective Communications Library (NCCL) verwenden, auf Tausende von CPUs oder GPUs skaliert werden. Dadurch erhalten Sie die Anwendungsleistung von On-Premises-HPC-Clustern mit der On-Demand-Elastizität und -Flexibilität der AWS-Cloud. Durch die Integration von EFA in Anwendungen, die auf Amazon-EKS-Clustern ausgeführt werden, können Sie die Zeit für die Durchführung umfangreicher verteilter Schulungs-Workloads verkürzen, ohne dass zusätzliche Instances zu Ihrem Cluster hinzugefügt werden müssen. Weitere Informationen zu EFA finden Sie unter Elastic Fabric Adapter.

Instance-Typen mit EFA

Das AWS-EFA-Kubernetes-Geräte-Plugin unterstützt alle Amazon-EC2-Instance-Typen, die über EFA verfügen. Eine Liste aller Instance-Typen, die EFA unterstützen, finden Sie unter Unterstützte Instance-Typen im Amazon-EC2-Benutzerhandbuch. Um ML-Anwendungen schnell ausführen zu können, empfehlen wir jedoch, dass eine Instance zusätzlich zu EFA über Hardware-Beschleunigungs-Chips wie nVidia-GPUs, AWS Inferentia-Chips oder AWS Trainium-Chips verfügt. Eine Liste der Instance-Typen, die über Hardware-Beschleunigungs-Chips und EFA verfügen, finden Sie unter Beschleunigtes Computing im Amazon-EC2-Benutzerhandbuch.

Wenn Sie Instance-Typen vergleichen, um zwischen ihnen zu wählen, berücksichtigen Sie die Anzahl der für diesen Instance-Typ verfügbaren EFA-Netzwerkkarten sowie die Anzahl der Beschleunigerkarten, die CPU-Leistung und die Speichergröße. Sie können bis zu einem EFA pro Netzwerkkarte zuweisen. Ein EFA zählt als Netzwerkschnittstelle. Um zu erfahren, wie viele EFA für jeden Instance-Typ mit EFA verfügbar sind, konsultieren Sie die Liste der Netzwerkkarten im Amazon-EC2-Benutzerhandbuch.

EFA- und reine EFA-Schnittstellen

Ein Elastic Fabric Adapter (EFA) ist eine Netzwerkschnittstelle, welche die Funktionen eines Elastic Network Adapters (ENA) und einer OS-Bypass-Schnittstelle kombiniert und auf dem AWS Scalable Reliable Datagram (SRD)-Protokoll basiert. Die EFA-Funktionen ermöglichen Anwendungen die direkte Kommunikation mit der Hardware für eine latenzarme Übertragung. Sie können über reine EFA-Schnittstellen auf die EFA-Funktionen zugreifen und so die Kommunikation auf Schnittstellen innerhalb derselben Availability Zone beschränken.

Um Knoten mit reinen EFA-Schnittstellen zu erstellen, müssen Sie eine benutzerdefinierte EC2-Startvorlage verwenden und InterfaceType auf efa-only einstellen. In Ihrer benutzerdefinierten Startvorlage können Sie die Netzwerkkarte 0 nicht als reine EFA-Schnittstelle festlegen, da es sich dabei um die primäre Netzwerkkarte und Netzwerkschnittstelle der EC2-Instance handelt. Für reine EFA-Schnittstellen benötigen Sie VPC-CNI-Version 1.18.5 oder höher. Wenn Sie Amazon Linux 2 verwenden, muss die AMI-Version für reine EFA-Schnittstellen v20240928 oder höher sein.

Die folgende Vorgehensweise führt Sie durch die Erstellung eines EKS-Clusters mit eksctl mit Knoten, die über nVidia-GPUs und EFA-Schnittstellen verfügen. Sie können eksctl nicht zum Erstellen von Knoten und Knotengruppen verwenden, die nur EFA-Schnittstellen verwenden.

Voraussetzungen

Knotengruppen erstellen

Das folgende Verfahren hilft Ihnen, eine Knotengruppe mit einer p4d.24xlarge gesicherten Knotengruppe mit EFA-Schnittstellen und GPUDirect RDMA zu erstellen und einen Beispieltest der NVIDIA Collective Communications Library (NCCL) für die NCCL-Leistung mit mehreren Knoten unter Verwendung von EFAs durchzuführen Das Beispiel kann eine Vorlage für verteiltes Deep-Learning-Training auf Amazon EKS mit EFAs verwendet werden.

Verwendung von Bottlerocket mit EFA

Bottlerocket-AMI-Version 1.28.0 und höher bieten offiziellen Support für EFA. Um Bottlerocket für EFA-fähige Knoten zu verwenden, geben Sie amiFamily: Bottlerocket in Ihrer Konfiguration an. Wenn Sie eine benutzerdefinierte AMI-ID verwenden müssen, müssen Sie die Standard-nodeGroups anstelle von managedNodeGroups verwenden.

Hier ein Beispiel für eine Konfiguration:

apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: my-efa-bottlerocket-cluster
  region: region-code
  version: "1.XX"

iam:
  withOIDC: true

availabilityZones: ["us-west-2a", "us-west-2c"]

managedNodeGroups:
  - name: my-efa-bottlerocket-ng
    instanceType: p5.48xlarge
    minSize: 1
    desiredCapacity: 2
    maxSize: 3
    availabilityZones: ["us-west-2a"]
    volumeSize: 300
    privateNetworking: true
    efaEnabled: true
    amiFamily: Bottlerocket
    bottlerocket:
      enableAdminContainer: true
      settings:
        kernel:
          sysctl:
            "vm.nr_hugepages": "3000"  # Configures 3000 * 2Mi = 6000Mi hugepages

Die oben genannte vm.nr_hugepages-sysctl-Einstellung konfiguriert die Anzahl der 2Mi-Hugepages. In diesem Beispiel bedeutet 3 000: 3 000 x 2Mi = 6 000Mi Hugepages.

Installation des EFA-Geräte-Plugins überprüfen

Wenn Sie eine Knotengruppe mit efaEnabled: true erstellen, stellt eksctl automatisch das EFA-Kubernetes-Geräte-Plugin für Sie bereit. Sie können überprüfen, ob das Geräte-Plugin installiert ist und ordnungsgemäß funktioniert:

(Optional) Leistung der EFA testen

Wir empfehlen Ihnen, die EFA-Einrichtung zu testen. Sie können die NCCL-Tests im aws-samples/awsome-distributed-training-Repository auf GitHub verwenden. NCCL-Tests bewerten die Leistung des Netzwerks mithilfe der Nvidia Collective Communication Library. Mit den folgenden Schritten können Sie NCCL-Tests in Amazon EKS durchführen.

If the test completed successfully, you can deploy your applications that use the Nvidia Collective Communication Library.