Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # AWS Pembelajaran Mendalam AMI GPU PyTorch 2.4 (Ubuntu 22.04) Untuk bantuan memulai, lihat[Memulai dengan DLAMI](getting-started.md). #### Format Nama AMI + Pembelajaran Mendalam OSS Nvidia Driver AMI GPU 2.4 PyTorch . $ {PATCH\_VERSION} (Ubuntu 22.04) $ {YYYY-MM-DD} #### Instans EC2 yang didukung + Silakan lihat [Perubahan penting pada DLAMI](important-changes.md). + Pembelajaran Mendalam dengan OSS Nvidia Driver mendukung G4dn, G5, G6, Gr6, P4, P4de, P5, P5e, P5en. #### AMI meliputi yang berikut: + ** AWS Layanan yang Didukung**: EC2 + **Sistem Operasi**: Ubuntu 22.04 + **Arsitektur Komputasi**: x86 + **Python**:/opt/conda/envs/pytorch/bin/python + **Pengemudi NVIDIA**: + Pengemudi OSS Nvidia: 550.144.03 + **Tumpukan NVIDIA CUDA12 .1**: + Jalur instalasi CUDA, NCCL dan cudDN:/-12.4/usr/local/cuda + **CUDA standar: 12.4** + JALAN/usr/local/cuda points to /usr/local/cuda-12.4/ + Diperbarui di bawah env vars: + LD\_LIBRARY\_PATH memiliki/usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cuda/targets/x86\_64-linux/lib + PATH untuk memiliki/usr/local/cuda/bin/:/usr/local/cuda/include/ + Sistem terkompilasi Versi NCCL hadir di/usr/local/cuda/: 2.21.5 + PyTorch Versi NCCL yang dikompilasi dari lingkungan PyTorch conda: 2.20.5 + **Lokasi Tes NCCL:** + all\_reduce, all\_gather dan reduce\_scatter:/-cuda-xx.x/ usr/local/cuda-xx.x/efa/test + Untuk menjalankan pengujian NCCL, LD\_LIBRARY\_PATH sudah diperbarui dengan jalur yang diperlukan. + Umum sudah PATHs ditambahkan ke LD\_LIBRARY\_PATH: + `/opt/amazon/efa/lib:/opt/amazon/openmpi/lib:/opt/aws-ofi-nccl/lib:/usr/local/lib:/usr/lib` + LD\_LIBRARY\_PATH diperbarui dengan jalur versi CUDA + /usr/local/cuda/lib:/usr/local/cuda/lib64:/usr/local/cuda:/usr/local/cud/targets/x86\_64-linux/lib + **Pemasang EFA: 1.34.0** + **Nvidia GDRCopy:** 2.4.1 + **Mesin Transformer Nvidia: v1.11.0** + **AWS Plugin OFI NCCL**: diinstal sebagai bagian dari `EFA Installer-aws` + **Jalur instalasi:**`/opt/aws-ofi-nccl/`. Path `/opt/aws-ofi-nccl/lib` ditambahkan ke LD\_LIBRARY\_PATH. + **Jalur pengujian** untuk dering, message\_transfer: `/opt/aws-ofi-nccl/tests` + Catatan: PyTorch paket dilengkapi dengan plugin AWS OFI NCCL yang ditautkan secara dinamis sebagai paket paket conda juga dan PyTorch akan menggunakan `aws-ofi-nccl-dlc` paket itu alih-alih sistem OFI NCCL. AWS + **AWS CLI v2** sebagai `aws2` dan **AWS CLI v1** sebagai `aws` + **Jenis volume EBS**: gp3 + **Versi Python**: 3.11 + **Kueri AMI-ID dengan Parameter SSM (contoh Wilayah adalah us-east-1):** + **Pengemudi OSS Nvidia:** ``` aws ssm get-parameter --region {{us-east-1}} \ --name /aws/service/deeplearning/ami/x86_64/oss-nvidia-driver-gpu-pytorch-2.4-ubuntu-22.04/latest/ami-id \ --query "Parameter.Value" \ --output text ``` + **Kueri AMI-ID dengan AWSCLI (contoh Wilayah adalah us-east-1):** + **Pengemudi OSS Nvidia:** ``` aws ec2 describe-images --region {{us-east-1}} \ --owners amazon \ --filters 'Name=name,Values=Deep Learning OSS Nvidia Driver AMI GPU PyTorch 2.4.? (Ubuntu 22.04) ????????' 'Name=state,Values=available' \ --query 'reverse(sort_by(Images, &CreationDate))[:1].ImageId' \ --output text ``` #### Pemberitahuan **Contoh P5/P5e** + DeviceIndex unik untuk masing-masing NetworkCard, dan harus berupa bilangan bulat non-negatif kurang dari batas ENI per. NetworkCard Pada P5, jumlah ENI per NetworkCard adalah 2, artinya satu-satunya nilai yang valid untuk DeviceIndex adalah 0 atau 1. Di bawah ini adalah contoh perintah peluncuran instans EC2 P5 menggunakan awscli yang menunjukkan NetworkCardIndex dari nomor 0-31 dan DeviceIndex sebagai 0 untuk antarmuka pertama dan sebagai 1 untuk istirahat 31 antarmuka. DeviceIndex ``` aws ec2 run-instances --region $REGION \ --instance-type $INSTANCETYPE \ --image-id $AMI --key-name $KEYNAME \ --iam-instance-profile "Name=dlami-builder" \ --tag-specifications "ResourceType=instance,Tags=[{Key=Name,Value=$TAG}]" \ --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \ "NetworkCardIndex=1,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \ "NetworkCardIndex=2,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \ "NetworkCardIndex=3,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \ "NetworkCardIndex=4,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" \ ... "NetworkCardIndex=31,DeviceIndex=1,Groups=$SG,SubnetId=$SUBNET,InterfaceType=efa" ``` #### Tanggal Rilis: 2025-02-17 **Nama AMI:** Driver OSS Nvidia Pembelajaran Mendalam AMI GPU PyTorch 2.4.1 (Ubuntu 22.04) 20250216 ##### Diperbarui + Diperbarui NVIDIA Container Toolkit dari versi 1.17.3 ke versi 1.17.4 + Silakan lihat halaman catatan rilis di sini untuk informasi lebih lanjut: [ https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4](https://github.com/NVIDIA/nvidia-container-toolkit/releases/tag/v1.17.4) + Di Container Toolkit versi 1.17.4, pemasangan pustaka compat CUDA sekarang dinonaktifkan. [Untuk memastikan kompatibilitas dengan beberapa versi CUDA pada alur kerja kontainer, pastikan Anda memperbarui LD\_LIBRARY\_PATH Anda untuk menyertakan pustaka kompatibilitas CUDA Anda seperti yang ditunjukkan dalam tutorial Jika Anda menggunakan lapisan kompatibilitas CUDA.](https://docs.aws.amazon.com/sagemaker/latest/dg/inference-gpu-drivers.html#collapsible-cuda-compat) #### Tanggal Rilis: 2025-01-21 **Nama AMI:** Pembelajaran Mendalam OSS Nvidia Driver AMI GPU PyTorch 2.4.1 (Ubuntu 22.04) 20250119 ##### Diperbarui + [Driver Nvidia yang ditingkatkan dari versi 550.127.05 ke 550.144.03 untuk mengatasi kehadiran CVE di Buletin Keamanan Driver Tampilan GPU NVIDIA untuk Januari 2025.](https://nvidia.custhelp.com/app/answers/detail/a_id/5614) #### Tanggal Rilis: 2024-11-18 **Nama AMI:** Driver OSS Nvidia Pembelajaran Mendalam AMI GPU PyTorch 2.4.1 (Ubuntu 22.04) 20241116 ##### Tetap + Karena perubahan kernel Ubuntu untuk mengatasi cacat pada fungsionalitas Kernel Address Space Layout Randomization (KASLR), instance G4Dn/G5 tidak dapat menginisialisasi CUDA dengan benar pada driver OSS Nvidia. Untuk mengurangi masalah ini, DLAMI ini menyertakan fungsionalitas yang secara dinamis memuat driver berpemilik untuk instans G4Dn dan G5. Harap izinkan periode inisialisasi singkat untuk pemuatan ini untuk memastikan bahwa instans Anda dapat berfungsi dengan baik. + Untuk memeriksa status dan kesehatan layanan ini, Anda dapat menggunakan perintah berikut: ``` sudo systemctl is-active dynamic_driver_load.service active ``` #### Tanggal Rilis: 2024-10-16 **Nama AMI**: Driver OSS Nvidia Pembelajaran Mendalam AMI GPU PyTorch 2.4.1 (Ubuntu 22.04) 20241016 ##### Ditambahkan + Menambahkan Nvidia TransformerEngine v1.11.0 untuk mempercepat model Transformer (Untuk lebih jelasnya, silakan merujuk ke [ https://docs.nvidia.com/deeplearning/transformator](https://docs.nvidia.com/deeplearning/transformer-engine/user-guide/index.html) - .html) engine/user-guide/index #### Tanggal Rilis: 2024-09-30 **Nama AMI**: Pembelajaran Mendalam OSS Nvidia Driver AMI GPU PyTorch 2.4.1 (Ubuntu 22.04) 20240929 ##### Diperbarui + [Nvidia Container Toolkit yang ditingkatkan dari versi 1.16.1 ke 1.16.2, mengatasi kerentanan keamanan CVE-2024-0133.](https://nvd.nist.gov/vuln/detail/CVE-2024-0133) #### Tanggal Rilis: 2024-09-26 **Nama AMI**: Pembelajaran Mendalam OSS Nvidia Driver AMI GPU PyTorch 2.4.1 (Ubuntu 22.04) 20240925 ##### Ditambahkan + Rilis awal seri Deep Learning AMI GPU PyTorch 2.4.1 (Ubuntu 22.04). Termasuk pytorch lingkungan conda yang dilengkapi dengan NVIDIA Driver R550, CUDA = 12.4.1, cuDNN=8.9.7, NCCL=2.20.5, dan EFA = 1.34.0. PyTorch