AWS Pembelajaran Mendalam AMI GPU PyTorch 2.4 (Ubuntu 22.04)

• Pembelajaran Mendalam OSS Driver Nvidia AMI GPU PyTorch 2.4. $ {PATCH_VERSION_} (Ubuntu 22.04) $ {} YYYY-MM-DD

• Silakan merujuk ke Perubahan penting pada DLAMI.

• Pembelajaran Mendalam dengan OSS Driver Nvidia mendukung G4dn, G5, G6, Gr6, P4, P4de, P5, P5e, P5en.

• AWS Layanan yang Didukung: EC2

• Sistem Operasi: Ubuntu 22.04

• Arsitektur Komputasi: x86

• Python:/opt/conda/envs/pytorch/bin/python

• Driver NVIDIA:

  • Driver OS Nvidia: 550.144.03

• Tum CUDA12.1 pukan NVIDIA:

  • Jalur instalasi CUDA, NCCL dan CudDn: /cuda-12.4/ usr/local

  • CUDA default: 12.4

    • PATH usr/local //cuda menunjuk ke //cuda-12.4/ usr/local

    • Diperbarui di bawah env vars:

      • LD_LIBRARY_PATH untuk memiliki//://cuda/lib: /cuda usr/local :/ /x86_ usr/local 64 cuda/lib64 - usr/local usr/local cuda/targets linux/lib

      • PATH untuk memiliki/usr/local/cuda/bin/:/usr/local/cuda/include/

  • Sistem terkompilasi Versi NCCL hadir di //cudausr/local/: 2.21.5

  • PyTorch Versi NCCL yang dikompilasi dari lingkungan PyTorch conda: 2.20.5

• Lokasi Tes NCCL:

  • all_reduce, all_gain dan reduce_scatter: /cuda-xx. usr/local x/efa/tes-cuda-xx.x/

  • Untuk menjalankan tes NCCL, LD_LIBRARY_PATH sudah diperbarui dengan jalur yang diperlukan.

    • Jalur umum sudah ditambahkan ke LD_LIBRARY_PATH:

      • /opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib

  • LD_LIBRARY_PATH diperbarui dengan jalur versi CUDA

    • //cuda/lib:usr/local//:/usr/localcudacuda/lib64:usr/local//x86_64- usr/local cud/targets linux/lib

• Pemasang EFA: 1.34.0

• Nvidia GDRCopy: 2.4.1

• Mesin Transformer Nvidia: v1.11.0

• AWS Plugin OFI NCCL: diinstal sebagai bagian dari EFA Installer-aws

  • Jalur instalasi: /opt/aws-ofi-nccl/. Jalur /opt/aws-ofi-nccl/lib ditambahkan ke LD_LIBRARY_PATH.

  • Jalur pengujian untuk ring, message_transfer: /opt/aws-ofi-nccl/tests

  • Catatan: PyTorch paket dilengkapi dengan plugin AWS OFI NCCL yang ditautkan secara dinamis sebagai paket paket conda juga dan PyTorch akan menggunakan aws-ofi-nccl-dlc paket itu alih-alih sistem OFI NCCL. AWS

• AWS CLI v2 sebagai aws2 dan AWS CLI v1 sebagai aws

• Jenis volume EBS: gp3

• Versi Python: 3.11

• Kueri AMI-ID dengan Parameter SSM (contoh Wilayah adalah us-east-1):

  • Driver OS Nvidia:

    aws ssm get-parameter --region us-east-1 \
            --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.4-ubuntu-22.04/latest/ami-id \
            --query "Parameter.Value" \
            --output text

• Kueri AMI-ID dengan AWSCLI (contoh Wilayah adalah us-east-1):

  • Driver OS Nvidia:

    aws ec2 describe-images --region us-east-1 \
        --owners amazon \
        --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.4.? (Ubuntu 22.04) ????????' 'Name=state,Values=available' \
        --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \
        --output text

P5/P5e contoh

• DeviceIndex unik untuk masing-masing NetworkCard, dan harus berupa bilangan bulat non-negatif kurang dari batas ENI per. NetworkCard Pada P5, jumlah ENI per NetworkCard adalah 2, artinya satu-satunya nilai yang valid untuk DeviceIndex adalah 0 atau 1. Di bawah ini adalah contoh perintah peluncuran instance EC2 P5 menggunakan awscli yang ditampilkan NetworkCardIndex dari nomor 0-31 dan DeviceIndex sebagai 0 untuk antarmuka pertama dan DeviceIndex sebagai 1 untuk antarmuka 31 lainnya.

• Diperbarui NVIDIA Container Toolkit dari versi 1.17.3 ke versi 1.17.4

  • Silakan lihat halaman catatan rilis di sini untuk informasi lebih lanjut: https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4

  • Di Container Toolkit versi 1.17.4, pemasangan pustaka compat CUDA sekarang dinonaktifkan. Untuk memastikan kompatibilitas dengan beberapa versi CUDA pada alur kerja kontainer, pastikan Anda memperbarui LD_LIBRARY_PATH Anda untuk menyertakan pustaka kompatibilitas CUDA Anda seperti yang ditunjukkan dalam tutorial Jika Anda menggunakan lapisan kompatibilitas CUDA.

• Driver Nvidia yang ditingkatkan dari versi 550.127.05 ke 550.144.03 untuk mengatasi kehadiran CVE di Buletin Keamanan Driver Tampilan NVIDIA GPU untuk Januari 2025.

• Karena perubahan pada kernel Ubuntu untuk mengatasi cacat pada fungsionalitas Kernel Address Space Layout Randomization (KASLR), G4Dn/G5 instance tidak dapat menginisialisasi CUDA dengan benar pada driver OSS Nvidia. Untuk mengurangi masalah ini, DLAMI ini menyertakan fungsionalitas yang secara dinamis memuat driver eksklusif untuk instans G4Dn dan G5. Harap izinkan periode inisialisasi singkat untuk pemuatan ini untuk memastikan bahwa instance Anda dapat bekerja dengan baik.

  • Untuk memeriksa status dan kesehatan layanan ini, Anda dapat menggunakan perintah berikut:

• Ditambahkan Nvidia TransformerEngine v1.11.0 untuk mempercepat model Transformer (Untuk lebih jelasnya, silakan lihat) https://docs.nvidia.com/deeplearning/transformer-engine/user-guide/index.html

• Upgrade Nvidia Container Toolkit dari versi 1.16.1 ke 1.16.2, mengatasi kerentanan keamanan. CVE-2024-0133

• Rilis awal seri Deep Learning AMI GPU PyTorch 2.4.1 (Ubuntu 22.04). Termasuk pytorch lingkungan conda yang dilengkapi dengan NVIDIA Driver R550, CUDA=12.4.1, cuDNN=8.9.7, NCCL = 2.20.5, dan EFA=1.34.0. PyTorch