Instal driver publik NVIDIA - Amazon Elastic Compute Cloud
Opsi 1: Instalasi khusus driverOpsi 2: Instal toolkit CUDA

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Instal driver publik NVIDIA

Jika yang AWS Marketplace AMIs dijelaskan dalam Gunakan AMIs itu termasuk driver NVIDIA tidak sesuai dengan kasus penggunaan Anda, Anda dapat menginstal driver publik dan membawa lisensi Anda sendiri. Opsi instalasi meliputi yang berikut:

 

Pertimbangan tipe instans P6-B200

Platform P6-B200 unik karena mengekspos kartu antarmuka jaringan Mellanox ConnectX 7 () ke instance sebagai perangkat. NICs PCIe Ini CX7 NICs tidak bertindak sebagai antarmuka jaringan yang khas tetapi berfungsi sebagai NVSwitch jembatan yang menyediakan jalur kontrol untuk menginisialisasi dan mengkonfigurasi NVFabric, yang merupakan NVLink topologi interkoneksi GPU.

Untuk sepenuhnya menginisialisasi sistem, NVIDIA Fabric Manager harus mengkonfigurasi NVFabric dan menetapkan NVSwitch topologi. Hal ini memungkinkan modul InfiniBand kernel untuk berkomunikasi dengan CX7 perangkat.

NVIDIA Fabric Manager disertakan dalam toolkit CUDA. Kami merekomendasikan Opsi 2: Instal dengan toolkit CUDA untuk jenis contoh ini.

Opsi 1: Instalasi khusus driver

Untuk menginstal driver tertentu, masuk ke instans Anda dan unduh driver publik NVIDIA 64-bit untuk jenis instans dari http://www.nvidia. com/Download/Find.aspx. Untuk Jenis Produk, Seri Produk, dan Produk, gunakan opsi yang ditunjukkan pada tabel berikut.

Kemudian ikuti petunjuk Instalasi Repositori Lokal di Panduan Instalasi Driver NVIDIA.

catatan

Jenis instans P6-B200 memerlukan instalasi dan konfigurasi paket tambahan yang dibundel dengan NVIDIA CUDA Toolkit. Untuk informasi selengkapnya, lihat petunjuk untuk distribusi Linux Anda diOpsi 2: Instal dengan toolkit CUDA.

Instans Tipe produk Seri produk Produk Versi driver minimum
G3 Tesla Kelas M M60 --
G4dn Tesla T-Series T4 --
G5 Tesla A-Series A10 470.00 atau yang lebih baru
G5g 1 Tesla T-Series NVIDIA T4G 470.82.01 atau yang lebih baru
G6 Tesla Seri-L L4 525.0 atau yang lebih baru
G6e Tesla Seri-L L40-AN 535.0 atau yang lebih baru
Gr6 Tesla Seri-L L4 525.0 atau yang lebih baru
P2 Tesla K-Series K80 --
P3 Tesla V-Series V100 --
P4d Tesla A-Series A100 --
P4de Tesla A-Series A100 --
P5 Tesla H-Series H100 530 atau yang lebih baru
P5e Tesla H-Series H200 550 atau yang lebih baru
P5en Tesla H-Series H200 550 atau yang lebih baru
P6-B200 2 Tesla Seri HGX B200 570 atau yang lebih baru
P6e- 00 GB2 Tesla Seri HGX B200 570 atau yang lebih baru

1 Sistem operasi untuk instance G5G adalah Linux aarch64.

2 Untuk jenis instans P6-B200, ada persyaratan instalasi tambahan untuk mengkonfigurasi NVIDIA Fabric Manager.

Opsi 2: Instal dengan toolkit CUDA

Instruksi penginstalan sedikit berbeda menurut sistem operasi. Untuk menginstal driver publik pada instans Anda dengan toolkit NVIDIA CUDA, ikuti petunjuk untuk sistem operasi instans Anda. Misalnya sistem operasi yang tidak ditampilkan di sini, ikuti petunjuk untuk sistem operasi dan arsitektur tipe instans Anda di situs web Pengembang NVIDIA. Untuk informasi selengkapnya, lihat Unduhan Toolkit CUDA.

Misalnya arsitektur tipe atau spesifikasi lainnya, lihat Spesifikasi komputasi Akselerasi dalam referensi Jenis EC2 Instance Amazon.

Bagian ini mencakup instalasi toolkit NVIDIA CUDA pada instans Amazon Linux 2023. Contoh perintah di bagian ini didasarkan pada x86_64 arsitektur.

Untuk arm64-sbsa perintah, lihat CUDA Toolkit Downloads dan pilih opsi yang berlaku untuk distribusi Anda. Instruksi muncul setelah Anda membuat pilihan akhir.

Prasyarat

Sebelum menginstal toolkit dan driver, jalankan perintah berikut untuk memastikan bahwa Anda memiliki versi header kernel dan paket pengembangan yang benar.

[ec2-user ~]$ sudo dnf install kernel-devel-$(uname -r) kernel-headers-$(uname -r) -y
Unduh toolkit dan driver

Pilih jenis instalasi yang akan digunakan untuk instans Anda, dan ikuti langkah-langkah terkait.

RPM local installation

Anda dapat mengikuti petunjuk ini untuk mengunduh bundel repositori installer toolkit CUDA ke instance Anda, lalu ekstrak dan daftarkan bundel yang ditentukan.

Untuk melihat petunjuk di situs web pengembang NVIDIA, lihat CUDA Toolkit Downloads.

[ec2-user ~]$ wget https://developer.download.nvidia.com/compute/cuda/13.0.0/local_installers/cuda-repo-amzn2023-13-0-local-13.0.0_580.65.06-1.x86_64.rpm
[ec2-user ~]$ sudo rpm -i cuda-repo-amzn2023-13-0-local-13.0.0_580.65.06-1.x86_64.rpm
RPM network installation

Anda dapat mengikuti petunjuk ini untuk mendaftarkan repositori CUDA dengan manajer paket pada instance Anda. Saat Anda menjalankan langkah-langkah penginstalan, manajer paket hanya mengunduh paket yang diperlukan.

Untuk melihat petunjuk di situs web pengembang NVIDIA, lihat CUDA Toolkit Downloads.

[ec2-user ~]$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
[ec2-user ~]$ sudo dpkg -i cuda-keyring_1.1-1_all.deb

Langkah-langkah yang tersisa sama untuk instalasi lokal dan jaringan.

  1. Selesaikan instalasi toolkit CUDA

    [ec2-user ~]$ sudo dnf clean all
[ec2-user ~]$ sudo dnf install cuda-toolkit -y

  2. Instal varian modul kernel terbuka dari driver

    [ec2-user ~]$ sudo dnf module install nvidia-driver:open-dkms -y

  3. Instal GPUDirect Penyimpanan dan Manajer Kain

    [ec2-user ~]$ sudo dnf install nvidia-gds -y
[ec2-user ~]$ sudo dnf install nvidia-fabric-manager -y

  4. Aktifkan Manajer Fabric dan ketekunan pengemudi

    [ec2-user ~]$ sudo systemctl enable nvidia-fabricmanager
[ec2-user ~]$ sudo systemctl enable nvidia-persistenced

  5. Konfigurasi tambahan untuk jenis instans P6-B200:

    Jenis instans P6-B200 memerlukan instalasi dan konfigurasi paket tambahan yang dibundel dengan NVIDIA CUDA Toolkit.

    1. Instal NVIDIA Link Subnet Manager danibstat.

      [ec2-user ~]$ sudo dnf install nvlink5

    2. Aktifkan pemuatan otomatis modul Infiniband saat startup.

      [ec2-user ~]$ echo "ib_umad" | sudo tee -a /etc/modules-load.d/modules.conf

  6. Nyalakan ulang instance

    [ec2-user ~]$ sudo reboot

Bagian ini mencakup instalasi toolkit NVIDIA CUDA pada instance Ubuntu 24.04. Contoh perintah di bagian ini didasarkan pada x86_64 arsitektur.

Untuk arm64-sbsa perintah, lihat CUDA Toolkit Downloads dan pilih opsi yang berlaku untuk distribusi Anda. Instruksi muncul setelah Anda membuat pilihan akhir.

Prasyarat

Sebelum menginstal toolkit dan driver, jalankan perintah berikut untuk memastikan bahwa Anda memiliki versi header kernel dan paket pengembangan yang benar.

$ apt install linux-headers-$(uname -r)
Unduh toolkit dan driver

Pilih jenis instalasi yang akan digunakan untuk instans Anda, dan ikuti langkah-langkah terkait.

RPM local installation

Anda dapat mengikuti petunjuk ini untuk mengunduh bundel repositori installer toolkit CUDA ke instance Anda, lalu ekstrak dan daftarkan bundel yang ditentukan.

Untuk melihat petunjuk di situs web pengembang NVIDIA, lihat CUDA Toolkit Downloads.

$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin
$ sudo mv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600
$ wget https://developer.download.nvidia.com/compute/cuda/13.0.0/local_installers/cuda-repo-ubuntu2404-13-0-local_13.0.0-580.65.06-1_amd64.deb
$ sudo dpkg -i cuda-repo-ubuntu2404-13-0-local_13.0.0-580.65.06-1_amd64.deb
$ sudo cp /var/cuda-repo-ubuntu2404-13-0-local/cuda-*-keyring.gpg /usr/share/keyrings/
RPM network installation

Anda dapat mengikuti petunjuk ini untuk mendaftarkan repositori CUDA dengan manajer paket pada instance Anda. Saat Anda menjalankan langkah-langkah penginstalan, manajer paket hanya mengunduh paket yang diperlukan.

Untuk melihat petunjuk di situs web pengembang NVIDIA, lihat CUDA Toolkit Downloads.

$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
$ sudo dpkg -i cuda-keyring_1.1-1_all.deb

Langkah-langkah yang tersisa sama untuk instalasi lokal dan jaringan.

  1. Selesaikan instalasi toolkit CUDA

    $ sudo apt update
$ sudo apt install cuda-toolkit -y

  2. Instal varian modul kernel terbuka dari driver

    $ sudo apt install nvidia-open -y

  3. Instal GPUDirect Penyimpanan dan Manajer Kain

    $ sudo apt install nvidia-gds -y
$ sudo apt install nvidia-fabricmanager -y

  4. Aktifkan Manajer Fabric dan ketekunan pengemudi

    $ sudo systemctl enable nvidia-fabricmanager
$ sudo systemctl enable nvidia-persistenced

  5. Konfigurasi tambahan untuk jenis instans P6-B200:

    Jenis instans P6-B200 memerlukan instalasi dan konfigurasi paket tambahan yang dibundel dengan NVIDIA CUDA Toolkit.

    1. Instal driver perangkat InfiniBand khusus terbaru (mlx5_ib) dan utilitas diagnostik.

      $ sudo apt install linux-modules-extra-$(uname -r) -y
$ sudo apt install infiniband-diags -y

    2. Instal NVIDIA Link Subnet Manager.

      $ sudo apt install nvlsm -y

  6. Nyalakan ulang instance

    sudo reboot

  7. Perbarui jalur Anda dan tambahkan variabel lingkungan berikut.

    $ export PATH=${PATH}:/usr/local/cuda-13.0/bin
$ export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/cuda-13.0/lib64

Untuk menginstal driver NVIDIA di Windows, ikuti langkah-langkah ini:

  1. Buka folder tempat Anda mengunduh driver dan luncurkan file instalasi. Ikuti petunjuk untuk menginstal driver dan mem-boot ulang instans Anda sesuai kebutuhan.

  2. Nonaktifkan adaptor tampilan bernama Microsoft Basic Display Adapter yang ditandai dengan ikon peringatan menggunakan Device Manager. Instal fitur Windows ini: Media Foundation dan Quality Windows Audio Video Experience.

    penting

    Jangan nonaktifkan adaptor tampilan bernama Microsoft Remote Display Adapter. Jika Microsoft Remote Display Adapter dinonaktifkan, koneksi Anda mungkin terputus dan upaya untuk menyambung ke instans setelah reboot mungkin gagal.

  3. Periksa Manajer Perangkat untuk memverifikasi bahwa GPU berfungsi dengan benar.

  4. Untuk mencapai kinerja terbaik dari GPU Anda, selesaikan langkah-langkah pengoptimalan di Optimalkan pengaturan GPU di instans Amazon EC2 .