AWS GPU ARM64 Basis Pembelajaran Mendalam AMI (Amazon Linux 2023)

• ARM64 Basis Pembelajaran Mendalam OSS Nvidia Driver GPU AMI (Amazon Linux 2023) $ {YYYY-MM-DD}

• G5g

• AWS Layanan yang Didukung: Amazon EC2

• Sistem Operasi: Amazon Linux 2023

• Arsitektur Komputasi: ARM64

• Kernel Linux: 6.12

• Pengemudi NVIDIA: 570.133.20

• NVIDIA CUDA 12.4, 12,5, 12.6, 12.8 tumpukan:

  • Direktori instalasi CUDA, NCCL dan cudDN:/-xx.x/ usr/local/cuda

    • Contoh:/usr/local/cuda-12.8/ , /usr/local/cuda-12.8/

  • Versi NCCL yang dikompilasi:

    • Untuk direktori CUDA 12.4, dikompilasi NCCL Versi 2.22.3+ .4 CUDA12

    • Untuk direktori CUDA 12.5, dikompilasi NCCL Versi 2.22.3+ .5 CUDA12

    • Untuk direktori CUDA 12.6, dikompilasi NCCL Versi 2.24.3+ .6 CUDA12

    • Untuk direktori CUDA 12.8, dikompilasi NCCL Versi 2.26.2+ .8 CUDA12

  • CUDA standar: 12.8

    • PATH/usr/local/cudamenunjuk ke CUDA 12.8

    • Diperbarui di bawah env vars:

      • LD_LIBRARY_PATH memiliki/64 usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/sbsa-linux/lib:/usr/local/cuda-12.8/nvvm/lib64:/usr/local/cuda-12.8/extras/CUPTI/lib

      • PATH untuk memiliki/usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/

      • Untuk versi CUDA yang berbeda, harap perbarui LD_LIBRARY_PATH yang sesuai.

• AWS CLI v2 di/usr/local/bin/aws

• Jenis volume EBS: gp3

• Toolkit wadah Nvidia: 1.17.4

  • Perintah versi: nvidia-container-cli -V

• Docker: 25.0.5

• Python:/3.9 usr/bin/python

• Kueri AMI-ID dengan Parameter SSM (contoh wilayah adalah us-east-1):

  aws ssm get-parameter --name/aws/service/deeplearning/ami/arm64/base-oss-nvidia-driver-gpu-amazon-linux-2023/latest/ami-id --region us-east-1 --query "Parameter.Value" --output text

• Kueri AMI-ID dengan AWSCLI (contoh wilayah adalah us-east-1):

  aws ec2 describe-images --region us-east-1 --owners amazon --filters 'Name=name,Values=Deep Learning ARM64 Base OSS Nvidia Driver GPU AMI (Amazon Linux 2023) ????????' 'Name=state,Values=available' --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text

Kernel

• Versi kernel disematkan menggunakan perintah:

  sudo dnf versionlock kernel*

• Kami menyarankan agar pengguna menghindari memperbarui versi kernel mereka (kecuali karena patch keamanan) untuk memastikan kompatibilitas dengan driver dan versi paket yang diinstal. Jika pengguna masih ingin memperbarui, mereka dapat menjalankan perintah berikut untuk melepas pin versi kernel mereka:

  sudo dnf versionlock delete kernel*
  sudo dnf update -y

• Untuk setiap versi baru DLAMI, kernel kompatibel terbaru yang tersedia digunakan.

• Driver Nvidia yang ditingkatkan dari versi 570.86.15 ke 570.133.20 ke alamat yang CVEs ada di Buletin Keamanan Driver Tampilan GPU NVIDIA untuk April 2025

• Diperbarui CUDA12 tumpukan.8 dengan NCCL 2.26.2

• CUDA default yang diperbarui dari 12.6 ke 12.8

• Driver Nvidia yang ditingkatkan dari versi 570.124.06 ke 570.133.20 ke alamat yang CVEs ada di Buletin Keamanan Driver Tampilan GPU NVIDIA untuk April 2025

• Versi kernel diperbarui dari 6.1 ke 6.12

• Driver Nvidia dari 550.144.03 ke 570.86.15

• CUDA default diubah dari CUDA12 .4 menjadi .6 CUDA12

• Direktori CUDA 12.5 dengan dikompilasi NCCL Versi CUDA12 2.22.3+ .5 dan cuDNN 9.7.1.26

• Direktori CUDA 12.6 dengan dikompilasi NCCL Versi CUDA12 2.24.3+ .6 dan cuDNN 9.7.1.26

• Direktori CUDA 12.8 dengan dikompilasi NCCL Versi CUDA12 2.25.1+ .8 dan cuDNN 9.7.1.26

• Rilis awal Deep Learning ARM64 Base OSS DLAMI untuk Amazon Linux 2023