AWS GPU AMI Dasar Pembelajaran Mendalam (Ubuntu 22.04)

• Basis Pembelajaran Mendalam OSS Nvidia Driver GPU AMI (Ubuntu 22.04) $ {YYYY-MM-DD}

• Silakan lihat Perubahan penting pada DLAMI.

• Pembelajaran Mendalam dengan OSS Nvidia Driver mendukung G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5, P5e, P6-B200.

• AWS Layanan yang Didukung: Amazon EC2

• Sistem Operasi: Ubuntu 22.04

• Arsitektur Komputasi: x86

• Versi terbaru yang tersedia diinstal untuk paket-paket berikut:

  • Kernel Linux: 6. 8

  • FSx Kilau

  • Docker

  • AWS CLI v2 di/usr/local/bin/aws2 dan AWS CLI v1 di/usr/bin/aws

  • NVIDIA DCGM

  • Toolkit wadah Nvidia:

    • Perintah versi: nvidia-container-cli -V

  • NVIDIA-Docker2:

    • Perintah versi: versi nvidia-docker

• Pengemudi NVIDIA: 570.133.20

• NVIDIA CUDA 12.4-12.6 dan 12.8 tumpukan:

  • Direktori instalasi CUDA, NCCL dan cudDN:/-xx.x/ usr/local/cuda

    • Contoh:/usr/local/cuda-12.8/ , /usr/local/cuda-12.8/

  • Versi NCCL yang dikompilasi: 2.26.5

  • CUDA standar: 12.8

    • PATH/usr/local/cudamenunjuk ke CUDA 12.8

    • Diperbarui di bawah env vars:

      • LD_LIBRARY_PATH memiliki/64 usr/local/cuda-12.8/lib:/usr/local/cuda-12.8/lib64:/usr/local/cuda-12.8:/usr/local/cuda-12.8/targets/x86_64-linux/lib:/usr/local/cuda-12.8/extras/CUPTI/lib

      • PATH untuk memiliki/usr/local/cuda-12.8/bin/:/usr/local/cuda-12.8/include/

      • Untuk versi CUDA yang berbeda, harap perbarui LD_LIBRARY_PATH yang sesuai.

• Pemasang EFA: 1.40.0

• Nvidia GDRCopy: 2.5

• AWS OFI NCCL: 1.14.2-aws

  • Jalur instalasi:/ditambahkan ke opt/amazon/ofi-nccl/ . Path /opt/amazon/ofi-nccl/lib LD_LIBRARY_PATH.

• AWS CLI v2 di/usr/local/bin/aws2 dan AWS CLI v1 di/usr/bin/aws

• Jenis volume EBS: gp3

• Python:/3.10 usr/bin/python

• NVMe Lokasi Penyimpanan Instance (pada EC2 instance yang Didukung):/opt/dlami/nvme

• Kueri AMI-ID dengan Parameter SSM (contoh Wilayah adalah us-east-1):

  • Pengemudi OSS Nvidia:

    aws ssm get-parameter --region us-east-1 \
        --name /aws/service/deeplearning/ami/x86_64/base-oss-nvidia-driver-gpu-ubuntu-22.04/latest/ami-id \
        --query "Parameter.Value" \
        --output text

• Kueri AMI-ID dengan AWSCLI (contoh Wilayah adalah us-east-1):

  • Pengemudi OSS Nvidia:

    aws ec2 describe-images --region us-east-1 \
          --owners amazon \
          --filters 'Name=name,Values=Deep Learning Base OSS Nvidia Driver GPU AMI (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
          --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
          --output text

Dukungan Multi ENI

• Ubuntu 22.04 secara otomatis mengatur dan mengonfigurasi perutean sumber pada beberapa NICss menggunakan cloud-init pada boot awalnya. Jika alur kerja attaching/detaching Anda menyertakan ENIs saat instans dihentikan, konfigurasi tambahan harus ditambahkan ke data pengguna cloud-init untuk memastikan konfigurasi NIC yang tepat selama peristiwa ini. Contoh konfigurasi cloud disediakan di bawah ini.

• Silakan referensi dokumentasi Canonical ini di sini untuk informasi lebih lanjut tentang cara mengonfigurasi konfigurasi cloud untuk instance Anda - -/https://documentation.ubuntu.com/aws/en/latest/aws-how-to/instances/automaticallysetup-multiple-nics

EC2 contoh dengan beberapa kartu jaringan

• Banyak jenis contoh yang mendukung EFA juga memiliki beberapa kartu jaringan.

• DeviceIndex unik untuk setiap kartu jaringan, dan harus berupa bilangan bulat non-negatif kurang dari batas per. ENIs NetworkCard Pada P5, jumlah ENIs per NetworkCard adalah 2, yang berarti bahwa satu-satunya nilai yang valid untuk DeviceIndex adalah 0 atau 1.

  • Untuk antarmuka jaringan utama (indeks kartu jaringan 0, indeks perangkat 0), buat antarmuka EFA (EFA dengan ENA). Anda tidak dapat menggunakan antarmuka jaringan khusus EFA sebagai antarmuka jaringan utama.

  • Untuk setiap antarmuka jaringan tambahan, gunakan indeks kartu jaringan yang tidak digunakan berikutnya, indeks perangkat 1, dan EFA (EFA dengan ENA) atau antarmuka jaringan khusus EFA, tergantung pada kasus penggunaan Anda, seperti persyaratan bandwidth ENA atau ruang alamat IP. Misalnya kasus penggunaan, lihat konfigurasi EFA untuk instance P5.

  • Untuk informasi lebih lanjut, lihat Panduan EFA di sini.

Kernel

• Versi kernel disematkan menggunakan perintah:

  echo linux-aws hold | sudo dpkg —set-selections
  echo linux-headers-aws hold | sudo dpkg —set-selections
  echo linux-image-aws hold | sudo dpkg —set-selections

• Kami menyarankan agar pengguna menghindari memperbarui versi kernel mereka (kecuali karena patch keamanan) untuk memastikan kompatibilitas dengan driver dan versi paket yang diinstal. Jika pengguna masih ingin memperbarui, mereka dapat menjalankan perintah berikut untuk melepas pin versi kernel mereka:

  echo linux-aws install | sudo dpkg -set-selections
  echo linux-headers-aws install | sudo dpkg -set-selections
  echo linux-image-aws install | sudo dpkg -set-selections

• Untuk setiap versi baru DLAMI, kernel kompatibel terbaru yang tersedia digunakan.

• Menambahkan dukungan untuk instance P6-B200 EC2

• Installer EFA yang ditingkatkan dari versi 1.39.0 ke 1.40.0

• Tingkatkan Plugin AWS OFI NCCL dari versi 1.13.0-aws ke 1.14.2-aws

• Diperbarui dikompilasi Versi NCCL dari versi 2.22.3 ke 2.26.5

• Diperbarui versi CUDA default dari versi 12.6 ke 12.8

• Diperbarui versi Nvidia DCGM dari 3.3.9 ke 4.4.3

• Upgrade GDRCopy dari 2.4.1 ke 2.5.1

• Driver Nvidia yang ditingkatkan dari versi 570.124.06 ke 570.133.20 ke alamat yang CVEs ada di Buletin Keamanan Driver Tampilan GPU NVIDIA untuk April 2025

• Diperbarui NVIDIA Container Toolkit dari versi 1.17.3 ke versi 1.17.4

  • Silakan lihat halaman catatan rilis di sini untuk informasi lebih lanjut: https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • Di Container Toolkit versi 1.17.4, pemasangan pustaka compat CUDA sekarang dinonaktifkan. Untuk memastikan kompatibilitas dengan beberapa versi CUDA pada alur kerja kontainer, pastikan Anda memperbarui LD_LIBRARY_PATH Anda untuk menyertakan pustaka kompatibilitas CUDA Anda seperti yang ditunjukkan dalam tutorial Jika Anda menggunakan lapisan kompatibilitas CUDA.

• Pustaka ruang pengguna yang dihapus cuobj dan nvdisasm disediakan oleh toolkit NVIDIA CUDA untuk mengatasi yang CVEs ada di Buletin Keamanan NVIDIA CUDA Toolkit untuk 18 Februari 2025

• Ditambahkan CUDA toolkit versi 12.6 di direktori/-12.6 usr/local/cuda

• CUDA versi 12.1 dan 12.2 telah dihapus dari DLAMI ini. Pelanggan dapat menginstal versi ini dari NVIDIA menggunakan tautan di bawah ini

  • https://developer.nvidia.com/cuda-toolkit-archive

• Versi EFA yang ditingkatkan dari 1.37.0 ke 1.38.0

  • EFA sekarang menggabungkan plugin AWS OFI NCCL, yang sekarang dapat ditemukan di/-ofi-nccl/. opt/amazon/ofi-nccl rather than the original /opt/aws Jika memperbarui variabel LD_LIBRARY_PATH Anda, pastikan Anda memodifikasi lokasi OFI NCCL Anda dengan benar.

• Toolkit Kontainer Nvidia yang ditingkatkan dari 1.17.3 ke 1.17.4

• Driver Nvidia yang ditingkatkan dari versi 550.127.05 ke 550.144.03 ke alamat yang CVEs ada di Buletin Keamanan Driver Tampilan GPU NVIDIA untuk Januari 2025

• FSx Paket Amazon untuk dukungan Lustre ditambahkan.

• Karena perubahan kernel Ubuntu untuk mengatasi cacat pada fungsionalitas Kernel Address Space Layout Randomization (KASLR), instance G4Dn/G5 tidak dapat menginisialisasi CUDA dengan benar pada driver OSS Nvidia. Untuk mengurangi masalah ini, DLAMI ini menyertakan fungsionalitas yang secara dinamis memuat driver berpemilik untuk instans G4Dn dan G5. Harap izinkan periode inisialisasi singkat untuk pemuatan ini untuk memastikan bahwa instans Anda dapat berfungsi dengan baik.

  Untuk memeriksa status dan kesehatan layanan ini, Anda dapat menggunakan perintah berikut:

• Driver Nvidia yang ditingkatkan dari versi 550.90.07 ke 550.127.05 untuk alamat yang CVEs ada di Buletin Keamanan Tampilan GPU NVIDIA untuk Oktober 2024

• Driver Nvidia dan Fabric Manager yang ditingkatkan dari versi 535.183.01 ke 550.90.07

• Nvidia Container Toolkit yang ditingkatkan dari versi 1.16.1 ke 1.16.2, mengatasi kerentanan keamanan CVE-2024-0133.

• Versi EFA yang ditingkatkan dari 1.32.0 ke 1.34.0

• Upgrade NCCL ke versi terbaru 2.22.3 untuk semua versi CUDA

  • CUDA 12.1, 12.2 ditingkatkan dari 2.18.5+ .2 CUDA12

  • CUDA 12.3 ditingkatkan dari versi 2.21.5+ .4 CUDA12

• Ditambahkan CUDA toolkit versi 12.4 di direktori/-12.4 usr/local/cuda

• Menambahkan dukungan untuk instance P5e EC2 .

• Ditambahkan dukungan untuk contoh G6e EC2 .

• Diperbarui versi driver Nvidia ke 535.183.01 dari 535.161.08

• Amazon FSx untuk dukungan Lustre telah dihapus dalam rilis ini karena ketidakcocokan dengan versi kernel Ubuntu 22.04 terbaru. Support FSx for for Lustre akan dipulihkan setelah versi kernel terbaru didukung. Pelanggan yang membutuhkan FSx Lustre harus terus menggunakan Deep Learning Base GPU AMI (Ubuntu 20.04).

• Rilis awal dari Deep Learning Base OSS DLAMI untuk Ubuntu 22.04