AWS Deep-Learning-Base-GPU-AMI (Ubuntu 24.04)

• Deep Learning Base OSS Nvidia-Treiber-GPU-AMI (Ubuntu 24.04) $ {YYYY-MM-DD}

• Weitere Informationen finden Sie unter Wichtige Änderungen an DLAMI.

• Deep Learning mit OSS Der Nvidia-Treiber unterstützt G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5, P5e, P5en, P6-B200.

• Unterstützter AWS Service: Amazon EC2

• Betriebssystem: Ubuntu 24.04

• Rechenarchitektur: x86

• Die neueste verfügbare Version ist für die folgenden Pakete installiert:

  • Linux-Kernel: 6. 8

  • FSx Glanz

  • Docker

  • AWS CLI v2 bei/usr/bin/aws

  • NVIDIA DCGM

  • Nvidia-Container-Toolkit:

    • Versionsbefehl: -V nvidia-container-cli

  • NVIDIA-Docker2:

    • Versionsbefehl: nvidia-docker version

• NVIDIA-Treiber: 570.133.20

• NVIDIA CUDA 12.6- und 12.8-Stapel:

  • Installationsverzeichnisse für CUDA, NCCL und cuDDN:/-xx.x/ usr/local/cuda

    • Beispiel:/-12.8/ usr/local/cuda-12.8/ , /usr/local/cuda

  • Kompilierte NCCL-Version: 2.25.1

  • Standard-CUDA: 12.8

    • PATH//usr/local/cudazeigt auf CUDA 12.8

    • Die folgenden Umgebungsvariablen wurden aktualisiert:

      • LD_LIBRARY_PATH soll/64 haben usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib

      • PATH soll//haben usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include

      • Für jede andere CUDA-Version aktualisieren Sie LD_LIBRARY_PATH bitte entsprechend.

• EFA-Installationsprogramm: 1.40.0

• Nvidia GDRCopy: 2.5.1

• AWS OFI NCCL: 1.14.2-aws

  • Installationspfad:/wird zu LD_LIBRARY_PATH hinzugefügt. opt/amazon/ofi-nccl/ . Path /opt/amazon/ofi-nccl/lib

• AWS CLI v2 bei/usr/bin/aws

• EBS-Volumetyp: gp3

• Python:/usr/bin/python3.12

• NVMe Speicherort des Instanzspeichers (bei unterstützten EC2 Instanzen):/opt/dlami/nvme

• AMI-ID mit SSM-Parameter abfragen (Beispiel Region ist us-east-1):

  • OSS Nvidia-Treiber:

    aws ssm get-parameter --region us-east-1 \
        --name /aws/service/deeplearning/ami/x86_64/base-oss-nvidia-driver-gpu-ubuntu-24.04/latest/ami-id \
        --query "Parameter.Value" \
        --output text

• AMI-ID abfragen mit AWSCLI (Beispiel Region ist us-east-1):

  • OSS Nvidia-Treiber:

    aws ec2 describe-images --region us-east-1 \
        --owners amazon \
        --filters 'Name=name,Values=Deep Learning Base OSS Nvidia Driver GPU AMI (Ubuntu 24.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

EC2 Instanz mit mehreren Netzwerkkarten

• Viele Instance-Typen, die EFA unterstützen, verfügen auch über mehrere Netzwerkkarten.

• DeviceIndex ist für jede Netzwerkkarte eindeutig und muss eine nicht negative Ganzzahl sein, die unter dem Grenzwert von ENIs per NetworkCard liegt. Auf P5 NetworkCard ist die Anzahl von ENIs per 2, was bedeutet, dass die einzig gültigen Werte für 0 oder 1 DeviceIndex sind.

  • Erstellen Sie für die primäre Netzwerkschnittstelle (Netzwerkkartenindex 0, Geräteindex 0) eine EFA-Schnittstelle (EFA mit ENA). Sie können eine Nur-EFA-Netzwerkschnittstelle nicht als primäre Netzwerkschnittstelle verwenden.

  • Verwenden Sie für jede weitere Netzwerkschnittstelle den nächsten ungenutzten Netzwerkkartenindex, Geräteindex 1, und entweder eine EFA (EFA mit ENA) oder eine reine EFA-Netzwerkschnittstelle, je nach Ihrem Anwendungsfall, z. B. den ENA-Bandbreitenanforderungen oder dem IP-Adressraum. Anwendungsfälle finden Sie beispielsweise unter EFA-Konfiguration für P5-Instances.

  • Weitere Informationen finden Sie im EFA-Leitfaden hier.

Kernel

• Die Kernel-Version wird mit dem folgenden Befehl gepinnt:

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• Wir empfehlen Benutzern, die Aktualisierung ihrer Kernel-Version zu vermeiden (es sei denn, es handelt sich um einen Sicherheitspatch), um die Kompatibilität mit den installierten Treibern und Paketversionen sicherzustellen. Wenn Benutzer dennoch ein Update durchführen möchten, können sie die folgenden Befehle ausführen, um ihre Kernelversionen zu entsperren:

  echo linux-aws install | sudo dpkg -set-selections
  echo linux-headers-aws install | sudo dpkg -set-selections
  echo linux-image-aws install | sudo dpkg -set-selections

• Für jede neue Version von DLAMI wird der neueste verfügbare kompatible Kernel verwendet.

• Unterstützung für P6-B200-Instanzen hinzugefügt EC2

• Der EFA Installer wurde von Version 1.40.0 auf 1.41.0 aktualisiert

• Die kompilierte NCCL-Version wurde von Version 2.25.1 auf 2.26.5 aktualisiert

• Die Nvidia DCGM-Version wurde von 3.3.9 auf 4.4.3 aktualisiert

• Erste Veröffentlichung des Deep Learning Base OSS DLAMI für Ubuntu 24.04