AWS Deep-Learning-AMI-GPU PyTorch 2.4 (Ubuntu 22.04)

• Deep Learning OSS Nvidia-Treiber AMI GPU PyTorch 2.4. $ {PATCH_VERSION} (Ubuntu 22.04) $ {YYY-MM-DD}

• Weitere Informationen finden Sie unter Wichtige Änderungen an DLAMI.

• Deep Learning mit OSS Der Nvidia-Treiber unterstützt G4dn, G5, G6, Gr6, P4, P4de, P5, P5e, P5en.

• Unterstützter AWS Dienst: EC2

• Betriebssystem: Ubuntu 22.04

• Rechenarchitektur: x86

• Python:/opt/conda/envs/pytorch/bin/python

• NVIDIA-Treiber:

  • OS Nvidia-Treiber: 550.144.03

• NVIDIA 1.1-Stapel: CUDA12

  • CUDA-, NCCL- und cuDDN-Installationspfad:/-12.4/ usr/local/cuda

  • Standard-CUDA: 12.4

    • PFAD/-12.4/ usr/local/cuda points to /usr/local/cuda

    • Die folgenden Umgebungsvariablen wurden aktualisiert:

      • LD_LIBRARY_PATH soll/haben usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cuda/targets/x86_64-linux/lib

      • PATH, um//zu haben usr/local/cuda/bin/:/usr/local/cuda/include

  • Die kompilierte System-NCCL-Version ist unter/usr/local/cuda/vorhanden: 2.21.5

  • PyTorch Kompilierte NCCL-Version aus der Conda-Umgebung: 2.20.5 PyTorch

• Ort der NCCL-Tests:

  • all_reduce, all_gather und reduce_scatter:/-cuda-xx.x/ usr/local/cuda-xx.x/efa/test

  • Um NCCL-Tests auszuführen, wurde LD_LIBRARY_PATH bereits mit den erforderlichen Pfaden aktualisiert.

    • Häufig verwendete Dateien wurden bereits zu LD_LIBRARY_PATH hinzugefügt: PATHs

      • /opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib

  • LD_LIBRARY_PATH wurde mit CUDA-Versionspfaden aktualisiert

    • /usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cud/targets/x86_64-linux/lib

• EFA-Installationsprogramm: 1.34.0

• Nvidia: 2.4.1 GDRCopy

• Nvidia-Transformer-Engine: v1.11.0

• AWS OFI NCCL: 1.11.0-aws

  • Installationspfad:/wird zu LD_LIBRARY_PATH hinzugefügt. opt/aws-ofi-nccl/ . Path /opt/aws-ofi-nccl/lib

  • Testet den Pfad für Ring, message_transfer:/opt/aws-ofi-nccl/tests

  • Hinweis: Das PyTorch Paket enthält auch das dynamisch verknüpfte AWS OFI-NCCL-Plugin als Conda-Paketpaket und PyTorch verwendet dieses aws-ofi-nccl-dlc Paket anstelle von System-OFI-NCCL. AWS

• AWS CLI v2 als aws2 und v1 als aws AWS CLI

• EBS-Volumetyp: gp3

• Python-Version: 3.11

• Fragen Sie die AMI-ID mit dem SSM-Parameter ab (Beispiel Region ist us-east-1):

  • OSS Nvidia-Treiber:

    aws ssm get-parameter --region us-east-1 \
            --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.4-ubuntu-22.04/latest/ami-id \
            --query "Parameter.Value" \
            --output text

• AMI-ID abfragen mit AWSCLI (Beispiel Region ist us-east-1):

  • OSS Nvidia-Treiber:

    aws ec2 describe-images --region us-east-1 \
        --owners amazon \
        --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.4.? (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

P5/P5e-Instanzen

• DeviceIndex ist für jede einzelne eindeutig und muss eine nicht negative Ganzzahl sein NetworkCard, die unter dem Grenzwert von per liegt. ENIs NetworkCard Auf P5 NetworkCard ist die Anzahl von ENIs per 2, was bedeutet, dass die einzig gültigen Werte für 0 oder 1 DeviceIndex sind. Im Folgenden finden Sie ein Beispiel für einen Befehl zum Starten einer EC2 P5-Instanz mithilfe von awscli, der NetworkCardIndex von der Nummer 0-31 und DeviceIndex als 0 für die erste Schnittstelle und DeviceIndex als 1 für die restlichen 31 Schnittstellen angezeigt wird.

• Das NVIDIA Container Toolkit wurde von Version 1.17.3 auf Version 1.17.4 aktualisiert

  • Weitere Informationen finden Sie auf der Seite mit den Versionshinweisen hier:/1.17.4 https://github.com/NVIDIA/ nvidia-container-toolkit releases/tag/v

  • In der Container Toolkit-Version 1.17.4 ist das Mounten von CUDA-kompatiblen Bibliotheken jetzt deaktiviert. Um die Kompatibilität mit mehreren CUDA-Versionen in Container-Workflows sicherzustellen, stellen Sie bitte sicher, dass Sie Ihren LD_LIBRARY_PATH so aktualisieren, dass er Ihre CUDA-Kompatibilitätsbibliotheken enthält, wie im Tutorial Wenn Sie eine CUDA-Kompatibilitätsschicht verwenden gezeigt.

• Der Nvidia-Treiber wurde von Version 550.127.05 auf 550.144.03 aktualisiert, um CVE-Probleme im NVIDIA GPU Display Driver Security Bulletin für Januar 2025 zu beheben.

• Aufgrund einer Änderung im Ubuntu-Kernel zur Behebung eines Fehlers in der KASLR-Funktionalität (Kernel Address Space Layout Randomization) können G4Dn/G5-Instances CUDA auf dem OSS-Nvidia-Treiber nicht ordnungsgemäß initialisieren. Um dieses Problem zu beheben, enthält dieses DLAMI Funktionen, die den proprietären Treiber für G4Dn- und G5-Instances dynamisch laden. Bitte rechnen Sie mit einer kurzen Initialisierungszeit für diesen Ladevorgang, um sicherzustellen, dass Ihre Instanzen ordnungsgemäß funktionieren.

  • Um den Status und den Zustand dieses Dienstes zu überprüfen, können Sie die folgenden Befehle verwenden:

• Nvidia TransformerEngine v1.11.0 zur Beschleunigung von Transformer-Modellen hinzugefügt (Weitere Informationen finden Sie unter Transformer- .html) https://docs.nvidia.com/deeplearning/ engine/user-guide/index

• Das Nvidia Container Toolkit wurde von Version 1.16.1 auf 1.16.2 aktualisiert und die Sicherheitslücke CVE-2024-0133 behoben.

• Erste Version der Deep Learning AMI GPU PyTorch 2.4.1 (Ubuntu 22.04) -Serie. Einschließlich einer Conda-Umgebung mit Pytorch, ergänzt durch den NVIDIA-Treiber R550, CUDA=12.4.1, CUDNN=8.9.7, NCCL=2.20.5 und EFA=1.34.0. PyTorch