AWS ARM64 Deep-Learning-Base-GPU-AMI (Ubuntu 22.04)

• Deep Learning ARM64 Base OSS Nvidia-Treiber-GPU-AMI (Ubuntu 22.04) $ {YYYY-MM-DD}

• G5g

• Unterstützter AWS Service: Amazon EC2

• Betriebssystem: Ubuntu 22.04

• Rechenarchitektur: ARM64

• Linux-Kernel: 6.8.0-1027-aws

• NVIDIA-Treiber: 570.133.20

• NVIDIA CUDA 12.4, 12.5, 12.6, 12.8 Stapel:

  • CUDA-, NCCL - und cuDDN-Installationsverzeichnisse:/-xx.x/ usr/local/cuda

    • Beispiel:/-12.8/ usr/local/cuda-12.8/ , /usr/local/cuda

  • Kompilierte NCCL-Version:

    • Für das CUDA-Verzeichnis von 12.4, kompilierte NCCL-Version 2.22.3+ .4 CUDA12

    • Für das CUDA-Verzeichnis 12.5, kompilierte NCCL-Version 2.22.3+ .5 CUDA12

    • Für das CUDA-Verzeichnis von 12.6, kompilierte NCCL-Version 2.24.3+ .6 CUDA12

    • Für das CUDA-Verzeichnis von 12.8, kompilierte NCCL-Version 2.26.2+ .8 CUDA12

  • Standard-CUDA: 12.8

    • PATH//usr/local/cudazeigt auf CUDA 12.8

    • Die folgenden Umgebungsvariablen wurden aktualisiert:

      • LD_LIBRARY_PATH soll/64 haben usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib

      • PATH soll//haben usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include

      • Für jede andere CUDA-Version aktualisieren Sie LD_LIBRARY_PATH bitte entsprechend.

• AWS CLI v2 bei//2 und v1 bei/usr/local/bin/aws AWS CLI usr/bin/aws

• EBS-Volumetyp: gp3

• Nvidia-Container-Toolkit: 1.17.4

  • Versionsbefehl: -V nvidia-container-cli

• NVIDIA DCGM: 3.3

  • Versionsbefehl dcgmi -v

• Docker: 26.1.2

• Python:/usr/bin/python3.10

• AMI-ID mit SSM-Parameter abfragen (Beispiel Region ist us-east-1):

  aws ssm get-parameter --region us-east-1 \
      --name/aws/service/deeplearning/ami/arm64/base-oss-nvidia-driver-gpu-ubuntu-22.04/latest/ami-id  \
      --query "Parameter.Value" \
      --output text

• AMI-ID abfragen mit AWSCLI (Beispiel Region ist us-east-1):

  aws ec2 describe-images --region us-east-1 \
      --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
      --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
      --output text

Unterstützung mehrerer ENI

• Ubuntu 22.04 richtet beim ersten Start automatisch das Quell-Routing auf mehreren NICs über Cloud-Init ein und konfiguriert es. Wenn Ihr Workflow attaching/detaching Ihre ENIs beinhaltet, während eine Instanz gestoppt ist, muss den Cloud-Init-Benutzerdaten eine zusätzliche Konfiguration hinzugefügt werden, um sicherzustellen, dass die NICs während dieser Ereignisse ordnungsgemäß konfiguriert werden. Ein Beispiel für die Cloud-Konfiguration finden Sie unten.

• Weitere Informationen zur Konfiguration der Cloud-Konfiguration für Ihre Instanzen finden Sie in dieser Canonical-Dokumentation - -/https://documentation.ubuntu.com/aws/en/latest/aws-how-to/instances/automaticallysetup-multiple-nics

Kernel

• Die Kernel-Version wird mit dem folgenden Befehl gepinnt:

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• Wir empfehlen Benutzern, die Aktualisierung ihrer Kernel-Version zu vermeiden (es sei denn, es liegt ein Sicherheitspatch vor), um die Kompatibilität mit den installierten Treibern und Paketversionen sicherzustellen. Wenn Benutzer dennoch ein Update durchführen möchten, können sie die folgenden Befehle ausführen, um ihre Kernelversionen zu entsperren:

  echo linux-aws install | sudo dpkg -set-selections
  echo linux-headers-aws install | sudo dpkg -set-selections
  echo linux-image-aws install | sudo dpkg -set-selections

• Für jede neue Version von DLAMI wird der neueste verfügbare kompatible Kernel verwendet.

• Der Nvidia-Treiber wurde von Version 570.86.15 auf 570.133.20 aktualisiert, um der Tatsache Rechnung zu tragen, dass CVE im NVIDIA GPU Display Driver Security Bulletin für April 2025 auftaucht

• Der CUDA 12.8-Stack wurde mit NCCL 2.26.2 aktualisiert

• Standard-CUDA wurde von 12.6 auf 12.8 aktualisiert

• CUDA 12.3 wurde entfernt

• Nvidia-Treiber von 550.144.03 bis 570.86.15

• Der Standard-CUDA wurde von .1 auf 6 geändert. CUDA12 CUDA12

• CUDA-Verzeichnis von 12.4 mit kompilierter NCCL Version CUDA12 2.22.3+ .4 und cuDNN 9.7.1.26

• CUDA-Verzeichnis von 12.5 mit kompilierter NCCL-Version CUDA12 2.22.3+ .5 und cuDNN 9.7.1.26

• CUDA-Verzeichnis von 12.6 mit kompilierter NCCL-Version CUDA12 2.24.3+ .6 und cuDNN 9.7.1.26

• CUDA-Verzeichnis von 12.8 mit kompilierter NCCL-Version CUDA12 2.25.1+ .8 und cuDNN 9.7.1.26

• CUDA-Verzeichnis von 12.1 und 12.2

• Das NVIDIA Container Toolkit wurde von Version 1.17.3 auf Version 1.17.4 aktualisiert

  • Weitere Informationen finden Sie auf der Seite mit den Versionshinweisen hier:/1.17.4 https://github.com/NVIDIA/ nvidia-container-toolkit releases/tag/v

  • In der Container Toolkit-Version 1.17.4 ist das Mounten von CUDA-kompatiblen Bibliotheken jetzt deaktiviert. Um die Kompatibilität mit mehreren CUDA-Versionen in Container-Workflows sicherzustellen, stellen Sie bitte sicher, dass Sie Ihren LD_LIBRARY_PATH so aktualisieren, dass er Ihre CUDA-Kompatibilitätsbibliotheken enthält, wie im Tutorial Wenn Sie eine CUDA-Kompatibilitätsschicht verwenden gezeigt.

• Die Benutzerbereichsbibliotheken cuobj und nvdisasm, die vom NVIDIA CUDA-Toolkit bereitgestellt wurden, um die im NVIDIA CUDA Toolkit Security Bulletin vom 18. Februar 2025 enthaltenen Probleme zu beheben, wurden entfernt CVEs

• Der Nvidia-Treiber wurde von Version 550.127.05 auf 550.144.03 aktualisiert und entspricht nun der Adresse CVEs , die im Sicherheitsbulletin für NVIDIA-GPU-Bildschirmtreiber vom Januar 2025 enthalten ist

• Der Nvidia-Treiber wurde von Version 550.90.07 auf 550.127.05 aktualisiert und entspricht nun der Adresse, die im NVIDIA GPU Display Security Bulletin für Oktober 2024 enthalten ist CVEs

• Die Nvidia-Treiberversion wurde von 535.161.08 auf 535.183.01 aktualisiert

• Erste Veröffentlichung des Deep Learning ARM64 Base OSS DLAMI für Ubuntu 22.04