Contribuisci a migliorare questa pagina

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Per contribuire a questa guida per l'utente, scegli il GitHub link Modifica questa pagina nel riquadro destro di ogni pagina.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esecuzione dei corsi di machine learning su Amazon EKS con Elastic Fabric Adapter

In questo argomento viene descritto come integrare Elastic Fabric Adapter (EFA) con i pod implementati nel cluster Amazon EKS. Elastic Fabric Adapter (EFA) è un'interfaccia di rete per le istanze Amazon EC2 che consente di eseguire applicazioni che richiedono livelli elevati di comunicazioni internodale su larga scala in AWS. La sua interfaccia hardware di bypass del sistema operativo personalizzata migliora le prestazioni delle comunicazioni tra istanze, che è fondamentale per dimensionare queste applicazioni. Con EFA, le applicazioni High Performance Computing (HPC) che utilizzano le applicazioni MPI (Message Passing Interface) e Machine Learning (ML) e che utilizzano NVIDIA Collective Communications Library (NCCL) possono dimensionare fino a migliaia di CPU o GPU. Di conseguenza, ottieni le prestazioni delle applicazioni dei cluster HPC locali con l'elasticità e la flessibilità on-demand del cloud. AWS L'integrazione di EFA con le applicazioni in esecuzione su cluster Amazon EKS può ridurre il tempo necessario per completare carichi di lavoro di formazione distribuiti su larga scala senza dover aggiungere ulteriori istanze al cluster. Per ulteriori informazioni su EFA, consulta Elastic Fabric Adapter.

Per informazioni sull'installazione e la gestione dei dispositivi EFA nel cluster EKS, tra cui il driver EFA DRA, il plug-in del dispositivo EFA, l'allocazione basata sulla topologia e la configurazione dell'interfaccia di rete, consulta. Gestisci i dispositivi EFA su Amazon EKS

Tipi di istanze con EFA

L' AWS EFA Kubernetes Device Plugin supporta tutti i tipi di istanze Amazon EC2 con EFA. Per visualizzare un elenco di tutti i tipi di istanze con EFA, consulta Tipi di istanze supportati nella Guida per l’utente di Amazon EC2. Tuttavia, per eseguire rapidamente le applicazioni ML, consigliamo che un'istanza disponga di chip di accelerazione hardware come GPU NVIDIA, chip AWS Inferentia o chip Trainium, oltre all'EFA.AWS Per visualizzare un elenco di tipi di istanze con chip di accelerazione hardware ed EFA, consulta Calcolo accelerato nella Guida per l’utente di Amazon EC2.

Nel confrontare i tipi di istanza e scegliere tra di essi, considera il numero di schede di rete EFA disponibili per quel tipo di istanza, nonché il numero di schede di accelerazione, la quantità di CPU e la quantità di memoria. È possibile assegnare fino a un EFA per scheda di rete. Un EFA conta come un'interfaccia di rete. Per vedere quanti EFA sono disponibili per ciascun tipo di istanza che dispone di EFA, consulta l’elenco delle Schede di rete nella Guida per l’utente di Amazon EC2.

EFA e interfacce EFA-only

Un Elastic Fabric Adapter (EFA) è un'interfaccia di rete che combina le funzionalità di un Elastic Network Adapter (ENA) e un' OS-bypass interfaccia, basata sul protocollo AWS Scalable Reliable Datagram (SRD). Le funzionalità EFA consentono alle applicazioni di comunicare direttamente con l’hardware per un trasporto a bassa latenza. È possibile scegliere di accedere solo alle funzionalità EFA utilizzando le EFA-onlyinterfacce, limitando la comunicazione alle interfacce all'interno della stessa zona di disponibilità.

Per creare nodi che possono avere EFA-only interfacce, è necessario utilizzare un EC2 Launch Template personalizzato e impostarlo su. InterfaceType efa-only Nel tuo Launch Template personalizzato, non puoi impostare la scheda 0 di rete come EFA-only interfaccia, in quanto si tratta della scheda di rete principale e dell'interfaccia di rete dell'istanza EC2. È necessario disporre della versione VPC CNI 1.18.5 o successiva per le interfacce. EFA-only Se utilizzi Amazon Linux 2, la versione ami deve essere v20240928 o successiva per le EFA-only interfacce.

La seguente procedura ti guida alla creazione di un cluster EKS eksctl con nodi dotati di GPU NVIDIA e interfacce EFA. Non è possibile utilizzarlo eksctl per creare nodi e gruppi di nodi che utilizzano interfacce. EFA-only

Prerequisiti

Creazione di un gruppo di nodi

La procedura seguente consente di creare un gruppo di nodi con un gruppo di nodi supportato da p4d.24xlarge con interfacce EFA e GPUDirect RDMA, e di eseguire un test di esempio NVIDIA Collective Communications Library (NCCL) per prestazioni NCCL multi-nodo utilizzando più EFA. L'esempio può essere utilizzato come modello per l'addestramento del deep learning distribuito su Amazon EKS utilizzando più EFA.

Utilizzo di Bottlerocket con EFA

La versione AMI di Bottlerocket 1.28.0 e successive includono il supporto ufficiale per EFA. Per utilizzare Bottlerocket per EFA-enabled i nodi, specificalo amiFamily: Bottlerocket nella configurazione. Se è necessario utilizzare un ID AMI personalizzato, è necessario utilizzare nodeGroups standard anziché managedNodeGroups.

Ecco un esempio di configurazione:

apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: my-efa-bottlerocket-cluster
  region: region-code
  version: "1.XX"

iam:
  withOIDC: true

availabilityZones: ["us-west-2a", "us-west-2c"]

managedNodeGroups:
  - name: my-efa-bottlerocket-ng
    instanceType: p5.48xlarge
    minSize: 1
    desiredCapacity: 2
    maxSize: 3
    availabilityZones: ["us-west-2a"]
    volumeSize: 300
    privateNetworking: true
    efaEnabled: true
    amiFamily: Bottlerocket
    bottlerocket:
      enableAdminContainer: true
      settings:
        kernel:
          sysctl:
            "vm.nr_hugepages": "3000"  # Configures 3000 * 2Mi = 6000Mi hugepages

L’impostazione sysctl vm.nr_hugepages riportata sopra configura il numero di Huge Pages di 2 Mi. In questo esempio, 3000 significa 3000 * 2 Mi = 6000 Mi di Huge Pages.

Verifica l’installazione del plugin del dispositivo EFA

Quando crei un gruppo di nodi con efaEnabled: true, eksctl distribuisce automaticamente il plugin per dispositivi EFA Kubernetes per te. Puoi verificare che il plugin del dispositivo sia installato e funzioni correttamente:

(Facoltativo) Test delle prestazioni dell’EFA

Consigliamo di testare la configurazione EFA. È possibile utilizzare i test NCCL presenti nel repository su. aws-samples/awsome-distributed-training GitHub I test NCCL valutano le prestazioni della rete utilizzando la libreria NVIDIA per comunicazioni collettive. La procedura seguente prevede l’invio dei test NCCL su Amazon EKS.

Se il test è stato completato con successo, puoi implementare le applicazioni che utilizzano la libreria NVIDIA per comunicazioni collettive.