AWS Pembelajaran Mendalam AMI (Amazon Linux 2)

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi $ {XX.X}

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi $ {XX.X}

• Silakan lihat Perubahan penting pada DLAMI.

• Pembelajaran Mendalam dengan OSS Nvidia Driver mendukung G4dn, G5, G6, Gr6, G6e, P4d, P4de, P5

• Pembelajaran Mendalam dengan Driver Nvidia Proprietary mendukung G3 (G3.16x tidak didukung), P3, P3dn

• AWS Layanan yang Didukung: Amazon EC2

• Sistem Operasi: Amazon Linux 2

• Arsitektur Komputasi: x86

• Kerangka kerja lingkungan Conda dan versi python:

  • Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2):

    • python3: Python 3.10

    • tensorflow2_p310:2.16, Python 3.10 TensorFlow

    • pytorch_p310:2.2, Python 3.10 PyTorch

  • AMI Driver Nvidia Milik Pembelajaran Mendalam (Amazon Linux 2):

    • python3: Python 3.10

    • tensorflow2_p310:2.16, Python 3.10 TensorFlow

    • pytorch_p310:2.2, Python 3.10 PyTorch

• Pengemudi NVIDIA:

  • Pengemudi OSS Nvidia: 550.163.01

  • Driver Nvidia eksklusif: 550.163.01

• NVIDIA CUDA12 .1-12.4 tumpukan:

  • Jalur instalasi CUDA, NCCL dan cudDN:/-xx.x/ usr/local/cuda

  • CUDA standar: 12.1

    • PATH/usr/local/cudamenunjuk ke CUDA12 .1

    • Diperbarui di bawah env vars:

      • LD_LIBRARY_PATH memiliki/usr/local/cuda-12.1/lib:/usr/local/cuda-12.1/lib64:/usr/local/cuda-12.1:/usr/local/cuda-12.1/targets/x86_64-linux/lib

      • PATH untuk memiliki/usr/local/cuda-12.1/bin/:/usr/local/cuda-11.8/include/

    • Untuk versi CUDA yang berbeda, harap perbarui LD_LIBRARY_PATH yang sesuai.

  • Versi NCCL yang dikompilasi untuk CUDA 12.1-12.4:2.22.3

  • Lokasi Tes NCCL:

    • all_reduce, all_gather dan reduce_scatter:/-cuda-xx.x/ usr/local/cuda-xx.x/efa/test

    • Untuk menjalankan pengujian NCCL, LD_LIBRARY_PATH harus melewati pembaruan di bawah ini.

      • Umum sudah PATHs ditambahkan ke LD_LIBRARY_PATH:

        • /opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib

      • Untuk versi CUDA yang berbeda, harap perbarui LD_LIBRARY_PATH yang sesuai.

• Pemasang EFA: 1.38.0

• GDRCopy: 2.4

• AWS NCCL: 1.13.2

  • Lokasi sistem:/usr/local/cuda-xx.x/efa

  • Ini ditambahkan untuk menjalankan tes NCCL yang terletak di/-cuda-xx.x/ usr/local/cuda-xx.x/efa/test

  • Juga, PyTorch paket dilengkapi dengan plugin AWS OFI NCCL yang ditautkan secara dinamis sebagai paket paket conda juga dan PyTorch akan menggunakan aws-ofi-nccl-dlc paket itu alih-alih sistem OFI NCCL. AWS

• Lokasi Tes NCCL:/-cuda-xx.x/ usr/local/cuda-xx.x/efa/test

• AWS CLI v2 di/usr/local/bin/aws2 dan AWS CLI v1 di/usr/local/bin/aws

• Jenis volume EBS: gp3

• Kueri AMI-ID dengan Parameter SSM (contoh wilayah adalah us-east-1):

  • Pengemudi OSS Nvidia:

    aws ssm get-parameter --name /aws/service/deeplearning/ami/x86_64/multi-framework-oss-nvidia-driver-amazon-linux-2/latest/ami-id --region us-east-1 --query "Parameter.Value" --output text

  • Pengemudi Nvidia Berpemilik:

    aws ssm get-parameter --name /aws/service/deeplearning/ami/x86_64/multi-framework-proprietary-nvidia-driver-amazon-linux-2/latest/ami-id --region us-east-1 --query "Parameter.Value" --output text

• Kueri AMI-ID dengan AWSCLI (contoh wilayah adalah us-east-1):

  • Pengemudi OSS Nvidia:

    aws ec2 describe-images --region us-east-1 --owners amazon --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI (Amazon Linux 2) Version ??.?' 'Name=state,Values=available' --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text

  • Pengemudi Nvidia Berpemilik:

    aws ec2 describe-images --region us-east-1 --owners amazon --filters 'Name=name,Values=Deep Learning Proprietary Nvidia Driver AMI (Amazon Linux 2) Version ??.?' 'Name=state,Values=available' --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' --output text

• EFA sekarang menggabungkan plugin AWS OFI NCCL, yang sekarang dapat ditemukan di/-ofi-nccl/. opt/amazon/ofi-nccl rather than the original /opt/aws Jika memperbarui variabel LD_LIBRARY_PATH Anda, pastikan Anda memodifikasi lokasi OFI NCCL Anda dengan benar.

• Deep Learning Proprietary Nvidia Driver yang AMIs dirilis setelah 18 Juli 2024 akan dikirim tanpa lingkungan neuron conda untuk dan. PyTorch TensorFlow Silakan gunakan DLAMIs Neuron pada Catatan Rilis DLAMI sebagai gantinya, untuk memanfaatkan lingkungan neuron.

• DLAMI yang dirilis antara 26 Maret 2024 (2024-03-26) dan 12 April 2024 (2024-04-12) dikirim tanpa paket audit. Jika Anda memerlukan paket khusus ini untuk kebutuhan pencatatan dan pemantauan Anda, silakan migrasi alur kerja Anda ke DLAMI terbaru untuk menggunakan paket audit yang diinstal.

• Horovod dihapus dari lingkungan conda pytorch_p310 dan tensorflow2_p310 saat ini di DLAMI. Pelanggan akan dapat menginstal perpustakaan horovod dengan mengikuti pedoman horovod dan menginstalnya DLAMIs untuk pekerjaan pelatihan terdistribusi mereka.

Nama AMI

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 81.2

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 81.2

• Driver Nvidia yang ditingkatkan dari versi 550.144.03 ke 550.163.01 untuk alamat yang CVEs ada di Buletin Keamanan Driver Tampilan GPU NVIDIA untuk April 2025

Nama AMI

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 80.6

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 80.4

• Diperbarui NVIDIA Container Toolkit dari versi 1.17.3 ke versi 1.17.4

  • Silakan lihat halaman catatan rilis di sini untuk informasi lebih lanjut: https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • Di Container Toolkit versi 1.17.4, pemasangan pustaka compat CUDA sekarang dinonaktifkan. Untuk memastikan kompatibilitas dengan beberapa versi CUDA pada alur kerja kontainer, pastikan Anda memperbarui LD_LIBRARY_PATH Anda untuk menyertakan pustaka kompatibilitas CUDA Anda seperti yang ditunjukkan di bawah tutorial “Jika Anda menggunakan lapisan kompatibilitas CUDA” di sini - -gpu-drivers.html# https://docs.aws.amazon.com/sagemaker/ latest/dg/inference collapsible-cuda-compat

• Pustaka ruang pengguna yang dihapus cuobj dan nvdisasm disediakan oleh toolkit NVIDIA CUDA untuk mengatasi yang CVEs ada di Buletin Keamanan NVIDIA CUDA Toolkit untuk 18 Februari 2025

Nama AMI

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 80.2

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 80.4

• Versi EFA yang ditingkatkan dari 1.37.0 ke 1.38.0

  • EFA sekarang menggabungkan plugin AWS OFI NCCL, yang sekarang dapat ditemukan di/-ofi-nccl/. opt/amazon/ofi-nccl rather than the original /opt/aws Jika memperbarui variabel LD_LIBRARY_PATH Anda, pastikan Anda memodifikasi lokasi OFI NCCL Anda dengan benar.

Nama AMI

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 80.3

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 80.1

• Driver Nvidia yang ditingkatkan dari versi 550.127.05 ke 550.144.03 ke alamat yang CVEs ada di Buletin Keamanan Driver Tampilan GPU NVIDIA untuk Januari 2025

Nama AMI

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 80.1

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 79.9

• Toolkit Kontainer Nvidia yang ditingkatkan dari versi 1.17.0 ke 1.17.3

Nama AMI

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 79.9

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 79.7

• Nvidia Container Toolkit yang ditingkatkan dari versi 1.16.2 ke 1.17.0, mengatasi kerentanan keamanan CVE-2024-0134.

Nama AMI

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 79.6

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 79.6

• Driver Nvidia yang ditingkatkan dari versi 550.90.07 ke 550.127.05 untuk alamat yang CVEs ada di Buletin Keamanan Tampilan GPU NVIDIA untuk Oktober 2024

Nama AMI

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 79.3

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 79.3

• Nvidia Container Toolkit yang ditingkatkan dari versi 1.16.1 ke 1.16.2, mengatasi kerentanan keamanan CVE-2024-0133.

Nama AMI

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 78.6

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 78.7

• Menghapus lingkungan conda aws_neuron_pytorch_p38 dan aws_neuron_tensorflow_p38 dari AMI Driver Nvidia Proprietary Deep Learning.

• Menghapus dukungan keluarga instans Inf1 dari AMI Driver Nvidia Proprietary Deep Learning.

Nama AMI

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 78.5

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 78.5

• Diperbarui versi driver Nvidia ke 535.183.01 dari 535.161.08

Nama AMI

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 78.1

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 78.1

• Torchserve yang diperbarui dari v0.8.2 ke v0.11.0 di lingkungan pytorch_p310.

Nama AMI

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 78.0

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 78.0

• TensorFlow versi diperbarui dari 2.15 ke 2.16 di lingkungan tensorflow2_p310.

• Diperbarui versi EFA dari versi 1.30 ke versi 1.32

• Diperbarui plugin AWS OFI NCCL dari versi 1.7.4 ke versi 1.9.1

• Toolkit kontainer Nvidia yang diperbarui dari versi 1.13.5 ke versi 1.15.0

  • CATATAN: Versi 1.15.0 TIDAK menyertakan paket nvidia-container-runtime dan nvidia-docker2. Disarankan untuk menggunakan nvidia-container-toolkit paket secara langsung dengan mengikuti dokumen toolkit kontainer Nvidia.

• Ditambahkan CUDA12 .3 tumpukan CUDA12 dengan.3, NCCL 2.21.5, cuDNN 8.9.7

• Menghapus tumpukan CUDA11 .7, CUDA12 .0 yang ada di/-12.0 usr/local/cuda-11.7 and /usr/local/cuda

• Menghapus paket nvidia-docker2 dan perintahnya nvidia-docker sebagai bagian dari pembaruan toolkit kontainer Nvidia dari 1.13.5 ke 1.15.0 yang TIDAK menyertakan paket dan nvidia-docker2. nvidia-container-runtime

Nama AMI

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 77.0

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 77.0

• PyTorch versi diperbarui dari 2.1 ke 2.2 di lingkungan pytorch_p310.

• Untuk driver OSS Nvidia DLAMIs, menambahkan dukungan instans G6 dan Gr6 EC2 . Silakan lihat halaman pemilihan EC2 contoh untuk informasi lebih lanjut.

Nama AMI

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 76.8

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 76.9

• Driver Nvidia yang diperbarui dari 535.104.12 ke 535.161.08 di driver Proprietary dan OSS Nvidia. DLAMIs

• Instans baru yang didukung untuk setiap DLAMI adalah sebagai berikut:

  • Pembelajaran Mendalam dengan Driver Nvidia Proprietary mendukung G3 (G3.16x tidak didukung), P3, P3dn, Inf1

  • Pembelajaran Mendalam dengan OSS Nvidia Driver mendukung G4dn, G5, P4d, P4de.

• Dukungan EC2 instans G4dn, G5, G3.16x yang dihapus dari DLAMI driver Nvidia Proprietary.

Nama AMI

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 76.8

• Menambahkan awscliv2 di AMI sebagai usr/local/bin/aws2, alongside awscliv1 as /usr/local/bin/aws /pada AMI Driver Nvidia Proprietary

Nama AMI

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 76.7

• Menambahkan awscliv2 di AMI sebagai usr/local/bin/aws2, alongside awscliv1 as /usr/local/bin/aws /pada OSS Nvidia Driver AMI

• DLAMI driver OSS Nvidia yang diperbarui dengan dukungan G4dn dan G5, berdasarkan dukungan saat ini terlihat seperti di bawah ini:

  • Driver Nvidia Proprietary Deep Learning Base AMI (Amazon Linux 2) mendukung P3, P3dn, G3, G5, G4dn.

  • Basis Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) mendukung G4dn, G5, P4, P5.

• Driver OSS Nvidia DLAMIs direkomendasikan untuk digunakan untuk G4dn, G5, P4, P5.

• Diperbarui TensorFlow dari 2.13.0 ke 2.15.0

• Diperbarui EFA dari 1.29.0 ke 1.30.0

• Diperbarui AWS-OFI-NCCL dari 1.7.3-aws ke 1.7.4-aws

• Driver Nvidia yang Diperbarui ke 535.104.12 pada AMI Driver Nvidia Proprietary Deep Learning

• Diperbarui Driver Nvidia ke 535.154.05 pada Deep Learning OSS Nvidia Driver AMI

Nama AMI

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 76.2

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 76.4

• Versi paket runc yang diperbarui untuk menggunakan patch untuk CVE-2024-21626.

• Diperbarui PyTorch dari 2.0.1 ke 2.1.0

Nama AMI

• Pembelajaran Mendalam OSS Nvidia Driver AMI (Amazon Linux 2) Versi 75.1

• Driver Nvidia Proprietary Deep Learning AMI (Amazon Linux 2) Versi 75.1

• AWS Deep Learning AMI (DLAMI) dibagi menjadi dua kelompok terpisah:

  • DLAMI yang menggunakan Nvidia Proprietary Driver (untuk mendukung P3, P3dn, G3, G5, G4dn).

  • DLAMI yang menggunakan Nvidia OSS Driver untuk mengaktifkan EFA (untuk mendukung P4, P5).

• Silakan merujuk ke pengumuman publik untuk informasi lebih lanjut tentang DLAMI split.

• AWS kueri cli untuk di atas ada di catatan rilis di bawah bullet point Query AMI-ID dengan ( AWSCLI contoh wilayah adalah us-east-1)

• EFA diperbarui dari 1.26.1 ke 1.29.0

• GDRCopy diperbarui dari 2.3 ke 2.4

• AWS OFI NCCL Plugin diperbarui dari versi 1.7.2 ke versi 1.7.3

• Direktori CUDA 12.0-12.1 yang diperbarui dengan NCCL versi 2.18.5

• CUDA12.1 diperbarui sebagai Versi CUDA default

  • Diperbarui LD_LIBRARY_PATH untuk memiliki//usr/local/cuda-12.1/targets/x86_64-linux/lib/:/usr/local/cuda-12.1/lib:/usr/local/cuda-12.1/lib64:/usr/local/cuda-12.1 and PATH to have /usr/local/cuda-12.1/bin

  • Untuk pelanggan yang ingin mengubah ke versi CUDA yang berbeda, harap tentukan variabel LD_LIBRARY_PATH dan PATH yang sesuai.

• Bantal yang diperbarui dari versi 9.4.0 hingga 10.1.0 untuk memperbaiki SNYK-PYTHON-PILLOW-5918878 di semua lingkungan conda

• Diperbarui opencv-python dari 4.8.0.74 ke 4.8.1.78 untuk memperbaiki SNYK-PYTHON-OPENCVPYTHON-5926695 di semua lingkungan conda

• Kernel Live Patching sekarang diaktifkan. Live patching memungkinkan pelanggan untuk menerapkan kerentanan keamanan dan patch bug kritis ke kernel Linux yang sedang berjalan, tanpa reboot atau gangguan pada aplikasi yang sedang berjalan.

  • Harap dicatat bahwa dukungan patching langsung untuk kernel 5.10.192 akan berakhir pada 11/30/23.

  • Untuk informasi lebih lanjut silahkan referensi AWS dokumen resmi di sini - https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/al2-live-patching.html

• Diperbarui TensorFlow dari 2.12 ke 2.13

  • Horovod telah dihapus dari lingkungan conda dalam rilis ini. Lihat Pemberitahuan untuk detail tentang menginstal horovod.

• Diperbarui PyTorch dari 2.0.0 ke 2.0.1