Aiutaci a migliorare questa pagina

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Per contribuire a questa guida per l'utente, scegli il GitHub link Modifica questa pagina nel riquadro destro di ogni pagina.

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esegui corsi di apprendimento automatico su Amazon EKS con Elastic Fabric Adapter

Questo argomento descrive come integrare Elastic Fabric Adapter (EFA) con i pod distribuiti nel cluster Amazon EKS. Elastic Fabric Adapter (EFA) è un'interfaccia di rete per EC2 istanze Amazon che consente di eseguire applicazioni che richiedono alti livelli di comunicazioni tra nodi su larga scala. AWS La sua interfaccia hardware di bypass del sistema operativo personalizzata migliora le prestazioni delle comunicazioni tra istanze, che è fondamentale per dimensionare queste applicazioni. Con EFA, le applicazioni High Performance Computing (HPC) che utilizzano le applicazioni Message Passing Interface (MPI) e Machine Learning (ML) che utilizzano NVIDIA Collective Communications Library (NCCL) possono scalare fino a migliaia di o. CPUs GPUs Di conseguenza, si ottengono le prestazioni applicative dei cluster HPC locali con l'elasticità e la flessibilità on-demand del cloud. AWS L'integrazione di EFA con le applicazioni in esecuzione su cluster Amazon EKS può ridurre il tempo necessario per completare carichi di lavoro di formazione distribuiti su larga scala senza dover aggiungere ulteriori istanze al cluster. Per ulteriori informazioni su EFA, consulta Elastic Fabric Adapter.

Tipi di istanze con EFA

L' AWS EFA Kubernetes Device Plugin supporta tutti i tipi di EC2 istanze Amazon con EFA. Per visualizzare un elenco di tutti i tipi di istanze con EFA, consulta Tipi di istanze supportati nella Amazon EC2 User Guide. Tuttavia, per eseguire rapidamente le applicazioni ML, consigliamo che un'istanza disponga di chip di accelerazione hardware come GPUs NVidia AWS , Inferentia AWS o chip Trainium, oltre all'EFA. Per visualizzare un elenco di tipi di istanze con chip di accelerazione hardware ed EFA, consulta Accelerated computing nella Amazon EC2 User Guide.

Nel confrontare i tipi di istanza e scegliere tra di essi, considera il numero di schede di rete EFA disponibili per quel tipo di istanza, nonché il numero di schede di accelerazione, la quantità di CPU e la quantità di memoria. È possibile assegnare fino a un EFA per scheda di rete. Un EFA è considerato un'interfaccia di rete. Per vedere quante EFA sono disponibili per ogni tipo di istanza che dispone di EFA, consulta l'elenco delle schede di rete nella Amazon EC2 User Guide.

Interfacce solo EFA ed EFA

Un Elastic Fabric Adapter (EFA) è un'interfaccia di rete che combina le funzionalità di un Elastic Network Adapter (ENA) e un'interfaccia OS-Bypass, basata sul protocollo AWS Scalable Reliable Datagram (SRD). Le funzionalità EFA consentono alle applicazioni di comunicare direttamente con l'hardware per un trasporto a bassa latenza. È possibile scegliere di accedere solo alle funzionalità EFA utilizzando interfacce solo EFA, limitando la comunicazione alle interfacce all'interno della stessa zona di disponibilità.

Per creare nodi che possono avere interfacce solo EFA, devi utilizzare un Launch Template personalizzato e impostarlo su. EC2 InterfaceType efa-only Nel tuo Launch Template personalizzato, non puoi impostare la scheda 0 di rete su un'interfaccia solo EFA, poiché si tratta della scheda di rete e dell'interfaccia di rete principali dell'istanza. EC2 È necessario disporre della versione VPC CNI 1.18.5 o successiva per le interfacce solo EFA. Se utilizzi Amazon Linux 2, la versione ami deve essere v20240928 o successiva per le interfacce solo EFA.

La procedura seguente guida alla creazione di un cluster EKS con nodi eksctl dotati di interfacce NVidia GPUs ed EFA. Non è possibile utilizzarlo eksctl per creare nodi e gruppi di nodi che utilizzano interfacce solo EFA.

Prerequisiti

Creazione di un gruppo di nodi

La procedura seguente ti aiuta a creare un gruppo di nodi con un gruppo di nodi p4d.24xlarge supportato con interfacce EFA e GPUDirect RDMA ed eseguire un esempio di test NVIDIA Collective Communications Library (NCCL) per le prestazioni NCCL multinodo. EFAs L'esempio può essere utilizzato come modello per la formazione distribuita di deep learning su Amazon EKS utilizzando EFAs.

Utilizzo di Bottlerocket con EFA

La versione 1.28.0 e successive dell'AMI Bottlerocket include il supporto ufficiale per EFA. Per utilizzare Bottlerocket per nodi abilitati a EFA, specificalo nella configurazione. amiFamily: Bottlerocket Se è necessario utilizzare un ID AMI personalizzato, è necessario utilizzare standard nodeGroups anzichémanagedNodeGroups.

Ecco un esempio di configurazione:

apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: my-efa-bottlerocket-cluster
  region: region-code
  version: "1.XX"

iam:
  withOIDC: true

availabilityZones: ["us-west-2a", "us-west-2c"]

managedNodeGroups:
  - name: my-efa-bottlerocket-ng
    instanceType: p5.48xlarge
    minSize: 1
    desiredCapacity: 2
    maxSize: 3
    availabilityZones: ["us-west-2a"]
    volumeSize: 300
    privateNetworking: true
    efaEnabled: true
    amiFamily: Bottlerocket
    bottlerocket:
      enableAdminContainer: true
      settings:
        kernel:
          sysctl:
            "vm.nr_hugepages": "3000"  # Configures 3000 * 2Mi = 6000Mi hugepages

L'impostazione vm.nr_hugepages sysctl riportata sopra configura il numero di pagine enormi di 2 Mi. In questo esempio, 3000 significa 3000 * 2 Mi = 6000 Mi di pagine enormi.

Verifica l'installazione del plug-in del dispositivo EFA

Quando crei un gruppo di nodi conefaEnabled: true, distribuisce eksctl automaticamente il plug-in per dispositivi EFA Kubernetes per te. Puoi verificare che il plug-in del dispositivo sia installato e funzioni correttamente:

(Facoltativo) Verifica le prestazioni dell'EFA

Ti consigliamo di testare la configurazione EFA. Puoi utilizzare i test NCCL presenti nel repository su. aws-samples/awsome-distributed-training GitHub I test NCCL valutano le prestazioni della rete utilizzando la Nvidia Collective Communication Library. La procedura seguente prevede l'invio dei test NCCL su Amazon EKS.

Se il test è stato completato con successo, puoi distribuire le tue applicazioni che utilizzano la Nvidia Collective Communication Library.