AWS ARM64 Deep-Learning-Base-GPU-AMI (Amazon Linux 2023)

• Deep Learning ARM64 Base OSS Nvidia-Treiber-GPU-AMI (Amazon Linux 2023) $ {YYYY-MM-DD}

• G5g, P6e- GB2 00 (CUDA>=12.8 wird auf P6e- 00 unterstützt) GB2

• Unterstützter AWS Service: Amazon EC2

• Betriebssystem: Amazon Linux 2023

• Rechenarchitektur: ARM64

• Die neueste verfügbare Version ist für die folgenden Pakete installiert:

  • Linux-Kernel: 6. 12

  • FSx Glanz

  • Docker

  • AWS CLI v2 bei/usr/bin/aws

  • NVIDIA DCGM

  • Nvidia-Container-Toolkit:

    • Versionsbefehl: -V nvidia-container-cli

  • NVIDIA-Docker2:

    • Versionsbefehl: nvidia-docker version

• NVIDIA-Treiber: 570.158.01

• NVIDIA CUDA 12.4, 12.5, 12.6, 12.8 Stapel:

  • CUDA-, NCCL - und cuDDN-Installationsverzeichnisse:/-xx.x/ usr/local/cuda

    • Beispiel:/-12.8/ usr/local/cuda-12.8/ , /usr/local/cuda

  • Kompilierte NCCL-Version:

    • Für das CUDA-Verzeichnis von 12.4, kompilierte NCCL-Version 2.22.3+ .4 CUDA12

    • Für das CUDA-Verzeichnis 12.5, kompilierte NCCL-Version 2.22.3+ .5 CUDA12

    • Für das CUDA-Verzeichnis von 12.6, kompilierte NCCL-Version 2.24.3+ .6 CUDA12

    • Für das CUDA-Verzeichnis von 12.8, kompilierte NCCL-Version 2.27.5+. CUDA12

  • Standard-CUDA: 12.8

    • PATH//usr/local/cudazeigt auf CUDA 12.8

    • Die folgenden Umgebungsvariablen wurden aktualisiert:

      • LD_LIBRARY_PATH soll/64 haben usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib

      • PATH soll//haben usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include

      • Für jede andere CUDA-Version aktualisieren Sie LD_LIBRARY_PATH bitte entsprechend.

• EFA-Installationsprogramm: 1.42.0

• Nvidia GDRCopy: 2.5.1

• AWS Das OFI NCCL-Plugin wird mit dem EFA-Installationsprogramm geliefert

  • Die Pfade/opt/amazon/ofi-nccl/lib and /opt/amazon/ofi-nccl/efawerden zu LD_LIBRARY_PATH hinzugefügt.

• AWS CLI v2 bei/usr/local/bin/aws

• EBS-Volumetyp: gp3

• Python:/usr/bin/python3.9

• AMI-ID mit SSM-Parameter abfragen (Beispielregion ist us-east-1):

  SSM_PARAMETER=base-oss-nvidia-driver-gpu-amazon-linux-2023/latest/ami-id \
      aws ssm get-parameter --region us-east-1 \
      --name /aws/service/deeplearning/ami/arm64/$SSM_PARAMETER  \
      --query "Parameter.Value" \
      --output text

• AMI-ID abfragen mit AWSCLI (Beispielregion ist us-east-1):

  aws ec2 describe-images --region us-east-1 --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Amazon Linux 2023) ????????' 'Name=state,Values=available' --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text

Kernel

• Die Kernel-Version wird mit dem folgenden Befehl gepinnt:

  sudo dnf versionlock kernel*

• Wir empfehlen Benutzern, die Aktualisierung ihrer Kernel-Version zu vermeiden (es sei denn, es liegt ein Sicherheitspatch vor), um die Kompatibilität mit den installierten Treibern und Paketversionen sicherzustellen. Wenn Benutzer dennoch ein Update durchführen möchten, können sie die folgenden Befehle ausführen, um ihre Kernelversionen zu entsperren:

  sudo dnf versionlock delete kernel*
  sudo dnf update -y

• Für jede neue Version von DLAMI wird der neueste verfügbare kompatible Kernel verwendet.

• Unterstützung für EC2 Instance P6e- 00 hinzugefügt. GB2 Bitte beachten Sie, dass CUDA>=12.8 auf P6e- 00 unterstützt wird GB2

• Fügen Sie EFA 1.42.0 hinzu

• Der Nvidia-Treiber wurde von Version 570.133.20 auf 570.158.01 aktualisiert

• Der CUDA 12.8-Stack wurde mit NCCL 2.27.5 aktualisiert

• Der Nvidia-Treiber wurde von Version 570.86.15 auf 570.133.20 aktualisiert und entspricht nun der Adresse, die im Sicherheitsbulletin für NVIDIA GPU-Bildschirmtreiber vom April 2025 CVEs enthalten ist

• CUDA12Der 3.8-Stack wurde mit NCCL 2.26.2 aktualisiert

• Standard-CUDA wurde von 12.6 auf 12.8 aktualisiert

• Der Nvidia-Treiber wurde von Version 570.124.06 auf 570.133.20 aktualisiert und entspricht nun der Adresse, die im Sicherheitsbulletin für NVIDIA GPU-Bildschirmtreiber vom April 2025 CVEs enthalten ist

• Die Kernel-Version wurde von 6.1 auf 6.12 aktualisiert

• Nvidia-Treiber von 550.144.03 bis 570.86.15

• Der Standard-CUDA wurde von 1.4 auf 6 geändert. CUDA12 CUDA12

• CUDA-Verzeichnis von 12.5 mit kompilierter NCCL-Version CUDA12 2.22.3+ .5 und cuDNN 9.7.1.26

• CUDA-Verzeichnis von 12.6 mit kompilierter NCCL-Version CUDA12 2.24.3+ .6 und cuDNN 9.7.1.26

• CUDA-Verzeichnis von 12.8 mit kompilierter NCCL-Version CUDA12 2.25.1+ .8 und cuDNN 9.7.1.26

• Erste Version des Deep Learning ARM64 Base OSS DLAMI für Amazon Linux 2023