Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris. # Instal driver publik NVIDIA Jika yang AWS Marketplace AMIs dijelaskan dalam [Gunakan AMIs itu termasuk driver NVIDIA](preinstalled-nvidia-driver.md) tidak sesuai dengan kasus penggunaan Anda, Anda dapat menginstal driver publik dan membawa lisensi Anda sendiri. Opsi instalasi meliputi: + [Opsi 1: Instalasi khusus driver](#public-nvidia-driver-only-install) + [Opsi 2: Instal dengan toolkit CUDA](#public-nvidia-driver-cuda-install)(direkomendasikan untuk distribusi Linux)   **Pertimbangan tipe instans P6-B200 dan P6-B300** Platform P6-B200 dan P6-B300 unik karena mengekspos kartu antarmuka jaringan Mellanox ConnectX () ke instance sebagai perangkat. NICs PCIe Ini NICs tidak bertindak sebagai antarmuka jaringan yang khas tetapi berfungsi sebagai NVSwitch jembatan yang menyediakan jalur kontrol untuk menginisialisasi dan mengkonfigurasi NVFabric, yang merupakan NVLink topologi interkoneksi GPU. Untuk sepenuhnya menginisialisasi sistem, NVIDIA Fabric Manager harus mengkonfigurasi `NVFabric` dan menetapkan NVSwitch topologi. Hal ini memungkinkan modul InfiniBand kernel untuk berkomunikasi dengan Mellanox ConnectX. NICs NVIDIA Fabric Manager disertakan dalam toolkit CUDA. Kami merekomendasikan [Opsi 2: Instal dengan toolkit CUDA](#public-nvidia-driver-cuda-install) untuk jenis contoh ini. ## Opsi 1: Instalasi khusus driver Untuk menginstal driver tertentu, masuk ke instans Anda dan unduh driver publik NVIDIA 64-bit untuk jenis instans dari [http://www.nvidia. com/Download/Find.aspx](http://www.nvidia.com/Download/Find.aspx). Untuk **Jenis Produk**, **Seri Produk**, dan **Produk**, gunakan opsi yang ditunjukkan pada tabel berikut. Kemudian ikuti petunjuk Instalasi **Repositori Lokal di Panduan Instalasi** [Driver NVIDIA](https://docs.nvidia.com/datacenter/tesla/driver-installation-guide/index.html). **catatan** Jenis instans P6-B200 dan P6-B300 memerlukan instalasi dan konfigurasi paket tambahan yang disertakan dengan NVIDIA CUDA Toolkit. Untuk informasi selengkapnya, lihat petunjuk untuk distribusi Linux Anda di[Opsi 2: Instal dengan toolkit CUDA](#public-nvidia-driver-cuda-install). | Instans | Jenis produk | Seri produk | Produk | Versi driver minimum | | --- | --- | --- | --- | --- | | G3 | Tesla | Kelas M | M60 | -- | | G4dn | Tesla | T-Series | T4 | -- | | G5 | Tesla | A-Series | A10 | 470.00 atau lebih baru | | G5g 1 | Tesla | T-Series | T4G | 470.82.01 atau yang lebih baru | | G6 | Tesla | Seri-L | L4 | 525.0 atau yang lebih baru | | G6e | Tesla | Seri-L | L40-AN | 535.0 atau yang lebih baru | | Gr6 | Tesla | Seri-L | L4 | 525.0 atau yang lebih baru | | G7e | Tesla | Seri RTX | RTX PRO 6000 Blackwell | 575.0 atau yang lebih baru | | P2 | Tesla | K-Series | K80 | -- | | P3 | Tesla | V-Series | V100 | -- | | P4d | Tesla | A-Series | A100 | -- | | P4de | Tesla | A-Series | A100 | -- | | P5 | Tesla | H-Series | H100 | 530 atau lebih baru | | P5e | Tesla | H-Series | H200 | 550 atau lebih baru | | P5en | Tesla | H-Series | H200 | 550 atau lebih baru | | P6-B200 2 | Tesla | Seri HGX | B200 | 570 atau lebih baru | | P6e- GB200 | Tesla | Seri HGX | B200 | 570 atau lebih baru | | P6-B300 2 | Tesla | Seri HGX | B300 | 580 atau lebih baru | 1 Sistem operasi untuk instance G5G adalah Linux aarch64. 2 Untuk jenis instans P6-B200 dan P6-B300, ada persyaratan instalasi tambahan untuk mengkonfigurasi NVIDIA Fabric Manager. ## Opsi 2: Instal dengan toolkit CUDA Instruksi penginstalan sedikit berbeda menurut sistem operasi. Untuk menginstal driver publik pada instans Anda dengan toolkit NVIDIA CUDA, ikuti petunjuk untuk sistem operasi instans Anda. Misalnya sistem operasi yang tidak ditampilkan di sini, ikuti petunjuk untuk sistem operasi dan arsitektur tipe instans Anda di situs web Pengembang NVIDIA. Untuk informasi selengkapnya, lihat Unduhan [Toolkit CUDA](https://developer.nvidia.com/cuda-downloads). Misalnya arsitektur tipe atau spesifikasi lainnya, lihat Spesifikasi [komputasi yang dipercepat](https://docs.aws.amazon.com/ec2/latest/instancetypes/ac.html) dalam referensi *Jenis Instans Amazon EC2*. ### Amazon Linux 2023 Bagian ini mencakup instalasi toolkit NVIDIA CUDA pada instans Amazon Linux 2023. Contoh perintah di bagian ini didasarkan pada `x86_64` arsitektur. Untuk `arm64-sbsa` perintah, lihat [CUDA Toolkit Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=arm64-sbsa) dan pilih opsi yang berlaku untuk distribusi Anda. Instruksi muncul setelah Anda membuat pilihan akhir. **Prasyarat** Sebelum menginstal toolkit dan driver, jalankan perintah berikut untuk memastikan bahwa Anda memiliki versi header kernel dan paket pengembangan yang benar. ``` [ec2-user ~]$ sudo dnf install kernel-devel-$(uname -r) kernel-headers-$(uname -r) -y ``` **Unduh toolkit dan driver** Pilih jenis instalasi yang akan digunakan untuk instans Anda, dan ikuti langkah-langkah terkait. ------ #### [ AL2023 NVIDIA repository ] Amazon Linux 2023 menyediakan driver GPU NVIDIA dan paket toolkit CUDA melalui repositori khusus yang memelihara. AWS AWS memenuhi syarat repositori ini dengan kandidat AL2023 rilis dan memberikan saran keamanan melalui Amazon Linux Security Center. Kami merekomendasikan opsi ini untuk AL2023 instance karena menyederhanakan instalasi dan membuat driver diperbarui melalui alur kerja standar`dnf update`. Untuk petunjuk, lihat [driver NVIDIA](https://docs.aws.amazon.com/linux/al2023/ug/nvidia-drivers.html) di *Panduan Pengguna Amazon Linux 2023*. ------ #### [ RPM local installation ] Anda dapat mengikuti petunjuk ini untuk mengunduh bundel repositori installer toolkit CUDA ke instance Anda, lalu ekstrak dan daftarkan bundel yang ditentukan. Untuk melihat petunjuk di situs web pengembang NVIDIA, lihat [CUDA Toolkit Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Amazon-Linux&target_version=2023&target_type=rpm_local). ``` [ec2-user ~]$ wget https://developer.download.nvidia.com/compute/cuda/13.0.0/local_installers/cuda-repo-amzn2023-13-0-local-13.0.0_580.65.06-1.x86_64.rpm [ec2-user ~]$ sudo rpm -i cuda-repo-amzn2023-13-0-local-13.0.0_580.65.06-1.x86_64.rpm ``` ------ #### [ RPM network installation ] Anda dapat mengikuti petunjuk ini untuk mendaftarkan repositori CUDA dengan manajer paket pada instance Anda. Saat Anda menjalankan langkah-langkah penginstalan, manajer paket hanya mengunduh paket yang diperlukan. Untuk melihat petunjuk di situs web pengembang NVIDIA, lihat [CUDA Toolkit Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Amazon-Linux&target_version=2023&target_type=rpm_network). ``` [ec2-user ~]$ sudo dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/amzn2023/x86_64/cuda-amzn2023.repo ``` ------ Langkah-langkah yang tersisa sama untuk instalasi jaringan RPM lokal dan RPM. 1. Selesaikan instalasi toolkit CUDA ``` [ec2-user ~]$ sudo dnf clean all [ec2-user ~]$ sudo dnf install cuda-toolkit -y ``` 1. Instal varian modul kernel terbuka dari driver ``` [ec2-user ~]$ sudo dnf module install nvidia-driver:open-dkms -y ``` 1. Instal GPUDirect Penyimpanan dan Manajer Kain ``` [ec2-user ~]$ sudo dnf install nvidia-gds -y [ec2-user ~]$ sudo dnf install nvidia-fabric-manager -y ``` 1. Aktifkan Fabric Manager dan driver persistence ``` [ec2-user ~]$ sudo systemctl enable nvidia-fabricmanager [ec2-user ~]$ sudo systemctl enable nvidia-persistenced ``` 1. (*Hanya P6-B200 dan P6-B300*) Jenis instans ini memerlukan instalasi dan konfigurasi paket tambahan yang dibundel dengan NVIDIA CUDA Toolkit. 1. Instal NVIDIA Link Subnet Manager dan`ibstat`. ``` [ec2-user ~]$ sudo dnf install nvlink5 ``` 1. Aktifkan pemuatan otomatis modul Infiniband saat startup. ``` [ec2-user ~]$ echo "ib_umad" | sudo tee -a /etc/modules-load.d/modules.conf ``` 1. Reboot instance ``` [ec2-user ~]$ sudo reboot ``` ### Ubuntu 24.04 Bagian ini mencakup instalasi toolkit NVIDIA CUDA pada instance Ubuntu 24.04. Contoh perintah di bagian ini didasarkan pada `x86_64` arsitektur. Untuk `arm64-sbsa` perintah, lihat [CUDA Toolkit Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=arm64-sbsa) dan pilih opsi yang berlaku untuk distribusi Anda. Instruksi muncul setelah Anda membuat pilihan akhir. **Prasyarat** Sebelum menginstal toolkit dan driver, jalankan perintah berikut untuk memastikan bahwa Anda memiliki versi header kernel dan paket pengembangan yang benar. ``` $ apt install linux-headers-$(uname -r) ``` **Unduh toolkit dan driver** Pilih jenis instalasi yang akan digunakan untuk instans Anda, dan ikuti langkah-langkah terkait. ------ #### [ Deb local installation ] Anda dapat mengikuti petunjuk ini untuk mengunduh bundel repositori installer toolkit CUDA ke instance Anda, lalu ekstrak dan daftarkan bundel yang ditentukan. Untuk melihat petunjuk di situs web pengembang NVIDIA, lihat [CUDA Toolkit Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=24.04&target_type=deb_local). ``` $ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin $ sudo mv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600 $ wget https://developer.download.nvidia.com/compute/cuda/13.0.0/local_installers/cuda-repo-ubuntu2404-13-0-local_13.0.0-580.65.06-1_amd64.deb $ sudo dpkg -i cuda-repo-ubuntu2404-13-0-local_13.0.0-580.65.06-1_amd64.deb $ sudo cp /var/cuda-repo-ubuntu2404-13-0-local/cuda-*-keyring.gpg /usr/share/keyrings/ ``` ------ #### [ Deb network installation ] Anda dapat mengikuti petunjuk ini untuk mendaftarkan repositori CUDA dengan manajer paket pada instance Anda. Saat Anda menjalankan langkah-langkah penginstalan, manajer paket hanya mengunduh paket yang diperlukan. Untuk melihat petunjuk di situs web pengembang NVIDIA, lihat [CUDA Toolkit Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=24.04&target_type=deb_network). ``` $ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb $ sudo dpkg -i cuda-keyring_1.1-1_all.deb ``` ------ Langkah-langkah yang tersisa sama untuk instalasi lokal dan jaringan. 1. Selesaikan instalasi toolkit CUDA ``` $ sudo apt update $ sudo apt install cuda-toolkit -y ``` 1. Instal varian modul kernel terbuka dari driver ``` $ sudo apt install nvidia-open -y ``` 1. Instal GPUDirect Penyimpanan dan Manajer Kain ``` $ sudo apt install nvidia-gds -y $ sudo apt install nvidia-fabricmanager -y ``` 1. Aktifkan Fabric Manager dan driver persistence ``` $ sudo systemctl enable nvidia-fabricmanager $ sudo systemctl enable nvidia-persistenced ``` 1. (*Hanya P6-B200 dan P6-B300*) Jenis instans ini memerlukan instalasi dan konfigurasi paket tambahan yang dibundel dengan NVIDIA CUDA Toolkit. 1. Instal driver perangkat InfiniBand khusus terbaru dan utilitas diagnostik. ``` $ sudo apt install linux-modules-extra-$(uname -r) -y $ sudo apt install infiniband-diags -y ``` 1. Instal NVIDIA Link Subnet Manager. ``` $ sudo apt install nvlsm -y ``` 1. Reboot instance ``` sudo reboot ``` 1. Perbarui jalur Anda dan tambahkan variabel lingkungan berikut. ``` $ export PATH=${PATH}:/usr/local/cuda-13.0/bin $ export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/cuda-13.0/lib64 ``` ### Sistem operasi Windows Untuk menginstal driver NVIDIA di Windows, ikuti langkah-langkah ini: 1. Buka folder tempat Anda mengunduh driver dan luncurkan file instalasi. Ikuti petunjuk untuk menginstal driver dan mem-boot ulang instans Anda sesuai kebutuhan. 1. Nonaktifkan adaptor tampilan bernama **Microsoft Basic Display Adapter** yang ditandai dengan ikon peringatan menggunakan Device Manager. Instal fitur Windows ini: **Media Foundation** dan **Quality Windows Audio Video Experience**. **penting** Jangan nonaktifkan adaptor tampilan bernama **Microsoft Remote Display Adapter**. Jika **Microsoft Remote Display Adapter** dinonaktifkan, koneksi Anda mungkin terputus dan upaya untuk menyambung ke instans setelah reboot mungkin gagal. 1. Periksa Manajer Perangkat untuk memverifikasi bahwa GPU berfungsi dengan benar. 1. Untuk mencapai kinerja terbaik dari GPU Anda, selesaikan langkah-langkah pengoptimalan di [Optimalkan pengaturan GPU di instans Amazon EC2](optimize_gpu.md).