Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Öffentliche NVIDIA-Treiber installieren Wenn die AWS Marketplace AMIs unter beschriebenen [Verwenden Sie AMIs dazu NVIDIA-Treiber](preinstalled-nvidia-driver.md) Funktionen nicht zu Ihrem Anwendungsfall passen, können Sie die öffentlichen Treiber installieren und Ihre eigene Lizenz mitbringen. Es gibt die folgenden Installationsoptionen: + [Option 1: Installation nur über den Treiber](#public-nvidia-driver-only-install) + [Option 2: Installation mit dem CUDA-Toolkit](#public-nvidia-driver-cuda-install) (empfohlen für Linux-Distributionen)   **Überlegungen zu den Instanztypen P6-B200 und P6-B300** Die Plattformen P6-B200 und P6-B300 sind insofern einzigartig, als sie der Instanz Mellanox ConnectX-Netzwerkschnittstellenkarten () als Geräte zur Verfügung stellen. NICs PCIe Diese fungieren NICs nicht als typische Netzwerkschnittstellen, sondern als NVSwitch Bridges, die einen Steuerpfad für die Initialisierung und Konfiguration der Topologie der NVFabric GPU-Verbindung bereitstellen. NVLink Um das System vollständig zu initialisieren, muss der NVIDIA Fabric Manager die Topologie konfigurieren `NVFabric` und einrichten. NVSwitch Dadurch können InfiniBand Kernelmodule mit dem Mellanox ConnectX kommunizieren. NICs NVIDIA Fabric Manager ist im CUDA-Toolkit enthalten. Wir empfehlen [Option 2: Installation mit dem CUDA-Toolkit](#public-nvidia-driver-cuda-install) für diesen Instance-Typ. ## Option 1: Installation nur über den Treiber [Um einen bestimmten Treiber zu installieren, melden Sie sich bei Ihrer Instance an und laden Sie den öffentlichen 64-Bit-NVIDIA-Treiber für den Instance-Typ von http://www.nvidia herunter. com/Download/Find.aspx](http://www.nvidia.com/Download/Find.aspx). Verwenden Sie für **Produkttyp** **Produktserie** und **Produkt** die Optionen in der folgenden Tabelle. Folgen Sie anschließend den Anweisungen zur **Installation des lokalen Repositorys** im [NVIDIA-Treiberinstallationshandbuch](https://docs.nvidia.com/datacenter/tesla/driver-installation-guide/index.html). **Anmerkung** Die Instance-Typen P6-B200 und P6-B300 erfordern die Installation und Konfiguration zusätzlicher Pakete, die im NVIDIA CUDA Toolkit enthalten sind. Weitere Informationen finden Sie in den Anweisungen für Ihre Linux-Distribution in [Option 2: Installation mit dem CUDA-Toolkit](#public-nvidia-driver-cuda-install). | Instance | Produkttyp | Produktserie | Produkt | Minimale Treiberversion | | --- | --- | --- | --- | --- | | G3 | Tesla | M-Klasse | M60 | -- | | G4dn | Tesla | T-Series | T4 | -- | | G5 | Tesla | A-Serie | A10 | 470.00 oder höher | | G5g1 | Tesla | T-Series | T4G | 470.82.01 oder höher | | G6 | Tesla | L-Serie | L4 | 525.0 oder höher | | G6e | Tesla | L-Serie | L40S | 535.0 oder höher | | Gr6 | Tesla | L-Serie | L4 | 525.0 oder höher | | G7e | Tesla | RTX-Serie | RTX PRO 6000 Blackwell | 575.0 oder später | | P2 | Tesla | K-Serie | K80 | -- | | P3 | Tesla | V-Serie | V100 | -- | | P4d | Tesla | A-Serie | A100 | -- | | P4de | Tesla | A-Serie | A100 | -- | | P5 | Tesla | H-Serie | H100 | 530 oder höher | | P5e | Tesla | H-Serie | H200 | 550 oder höher | | P5en | Tesla | H-Serie | H200 | 550 oder höher | | P6-B2002 | Tesla | HGX-Serie | B200 | 570 oder später | | P6e- GB200 | Tesla | HGX-Serie | B200 | 570 oder später | | P6-B300 2 | Tesla | HGX-Serie | B300 | 580 oder später | 1 Das Betriebssystem für G5g-Instances ist Linux aarch64. 2 Für die Instanztypen P6-B200 und P6-B300 gelten zusätzliche Installationsanforderungen für die Konfiguration von NVIDIA Fabric Manager. ## Option 2: Installation mit dem CUDA-Toolkit Die Installationsanweisungen variieren je nach Betriebssystem geringfügig. Folgen Sie den Anweisungen für das Betriebssystem Ihrer Instance, um öffentliche Treiber mit dem NVIDIA-CUDA-Toolkit auf Ihrer Instance zu installieren. Folgen Sie für Instance-Betriebssysteme, die hier nicht aufgeführt sind, den Anweisungen für Ihr Betriebssystem und Ihre Instance-Typ-Architektur auf der NVIDIA-Developer-Website. Weitere Informationen finden Sie unter [CUDA-Toolkit-Downloads](https://developer.nvidia.com/cuda-downloads). Informationen zur Instance-Typ-Architektur oder anderen Spezifikationen finden Sie in den Spezifikationen für [beschleunigte Datenverarbeitung](https://docs.aws.amazon.com/ec2/latest/instancetypes/ac.html) in der *Amazon-EC2-Referenz zu Instance-Typen*. ### Amazon Linux 2023 Dieser Abschnitt behandelt die Installation eines NVIDIA-CUDA-Toolkits auf einer Amazon-Linux-2023-Instance. Die Befehlsbeispiele in diesem Abschnitt basieren auf einer `x86_64`-Architektur. `arm64-sbsa`-Befehle finden Sie unter [CUDA-Toolkit-Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=arm64-sbsa). Wählen Sie die Optionen aus, die für Ihre Distribution gelten. Anweisungen werden angezeigt, nachdem Sie Ihre endgültige Auswahl getroffen haben. **Voraussetzung** Führen Sie vor der Installation des Toolkits und der Treiber den folgenden Befehl aus, um sicherzustellen, dass Sie über die richtige Version der Kernel-Header und Entwicklungspakete verfügen. ``` [ec2-user ~]$ sudo dnf install kernel-devel-$(uname -r) kernel-headers-$(uname -r) -y ``` **Toolkit und Treiber herunterladen** Wählen Sie den Installationstyp aus, den Sie für Ihre Instance verwenden möchten, und folgen Sie den entsprechenden Schritten. ------ #### [ AL2023 NVIDIA repository ] Amazon Linux 2023 stellt NVIDIA-GPU-Treiber und CUDA-Toolkit-Pakete über ein spezielles Repository bereit, das AWS verwaltet. AWS qualifiziert dieses Repository mit AL2023 Release-Kandidaten und bietet Sicherheitsempfehlungen über das Amazon Linux Security Center. Wir empfehlen diese Option für AL2023 Instances, da sie die Installation vereinfacht und die Treiber im Rahmen des `dnf update` Standard-Workflows auf dem neuesten Stand hält. Anweisungen finden Sie unter [NVIDIA-Treiber](https://docs.aws.amazon.com/linux/al2023/ug/nvidia-drivers.html) im *Amazon Linux 2023-Benutzerhandbuch*. ------ #### [ RPM local installation ] Sie können diesen Anweisungen folgen, um das Repository-Paket für drn CUDA Toolkit Installer auf Ihre Instance herunterzuladen und anschließend das angegebene Paket zu extrahieren und zu registrieren. Anweisungen finden Sie auf der NVIDIA-Entwickler-Website unter [CUDA-Toolkit-Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Amazon-Linux&target_version=2023&target_type=rpm_local). ``` [ec2-user ~]$ wget https://developer.download.nvidia.com/compute/cuda/13.0.0/local_installers/cuda-repo-amzn2023-13-0-local-13.0.0_580.65.06-1.x86_64.rpm [ec2-user ~]$ sudo rpm -i cuda-repo-amzn2023-13-0-local-13.0.0_580.65.06-1.x86_64.rpm ``` ------ #### [ RPM network installation ] Sie können diesen Anweisungen folgen, um das CUDA-Repository beim Paketmanager auf Ihrer Instance zu registrieren. Wenn Sie die Installationsschritte ausführen, lädt der Paketmanager nur die benötigten Pakete herunter. Anweisungen finden Sie auf der NVIDIA-Entwickler-Website unter [CUDA-Toolkit-Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Amazon-Linux&target_version=2023&target_type=rpm_network). ``` [ec2-user ~]$ sudo dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/amzn2023/x86_64/cuda-amzn2023.repo ``` ------ Die verbleibenden Schritte sind für die lokale RPM-Installation und die RPM-Netzwerkinstallation identisch. 1. Die Installation des CUDA-Toolkits abschließen ``` [ec2-user ~]$ sudo dnf clean all [ec2-user ~]$ sudo dnf install cuda-toolkit -y ``` 1. Die offene Kernel-Modulvariante des Treibers installieren ``` [ec2-user ~]$ sudo dnf module install nvidia-driver:open-dkms -y ``` 1. Installieren Sie GPUDirect Storage und Fabric Manager ``` [ec2-user ~]$ sudo dnf install nvidia-gds -y [ec2-user ~]$ sudo dnf install nvidia-fabric-manager -y ``` 1. Fabric Manager und Treiberpersistenz aktivieren ``` [ec2-user ~]$ sudo systemctl enable nvidia-fabricmanager [ec2-user ~]$ sudo systemctl enable nvidia-persistenced ``` 1. (*Nur P6-B200 und P6-B300*) Diese Instance-Typen erfordern die Installation und Konfiguration zusätzlicher Pakete, die im Lieferumfang des NVIDIA CUDA Toolkit enthalten sind. 1. Installieren Sie den NVIDIA Link Subnet Manager und `ibstat`. ``` [ec2-user ~]$ sudo dnf install nvlink5 ``` 1. Aktivieren Sie das automatische Laden des Infiniband-Moduls beim Start. ``` [ec2-user ~]$ echo "ib_umad" | sudo tee -a /etc/modules-load.d/modules.conf ``` 1. Starten Sie die Instance neu. ``` [ec2-user ~]$ sudo reboot ``` ### Ubuntu 24.04 Dieser Abschnitt behandelt die Installation eines NVIDIA-CUDA-Toolkits auf einer Ubuntu-24.04-Instance. Die Befehlsbeispiele in diesem Abschnitt basieren auf einer `x86_64`-Architektur. `arm64-sbsa`-Befehle finden Sie unter [CUDA-Toolkit-Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=arm64-sbsa). Wählen Sie die Optionen aus, die für Ihre Distribution gelten. Anweisungen werden angezeigt, nachdem Sie Ihre endgültige Auswahl getroffen haben. **Voraussetzung** Führen Sie vor der Installation des Toolkits und der Treiber den folgenden Befehl aus, um sicherzustellen, dass Sie über die richtige Version der Kernel-Header und Entwicklungspakete verfügen. ``` $ apt install linux-headers-$(uname -r) ``` **Toolkit und Treiber herunterladen** Wählen Sie den Installationstyp aus, den Sie für Ihre Instance verwenden möchten, und folgen Sie den entsprechenden Schritten. ------ #### [ Deb local installation ] Sie können diesen Anweisungen folgen, um das Repository-Paket für drn CUDA Toolkit Installer auf Ihre Instance herunterzuladen und anschließend das angegebene Paket zu extrahieren und zu registrieren. Anweisungen finden Sie auf der NVIDIA-Entwickler-Website unter [CUDA-Toolkit-Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=24.04&target_type=deb_local). ``` $ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pin $ sudo mv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600 $ wget https://developer.download.nvidia.com/compute/cuda/13.0.0/local_installers/cuda-repo-ubuntu2404-13-0-local_13.0.0-580.65.06-1_amd64.deb $ sudo dpkg -i cuda-repo-ubuntu2404-13-0-local_13.0.0-580.65.06-1_amd64.deb $ sudo cp /var/cuda-repo-ubuntu2404-13-0-local/cuda-*-keyring.gpg /usr/share/keyrings/ ``` ------ #### [ Deb network installation ] Sie können diesen Anweisungen folgen, um das CUDA-Repository beim Paketmanager auf Ihrer Instance zu registrieren. Wenn Sie die Installationsschritte ausführen, lädt der Paketmanager nur die benötigten Pakete herunter. Anweisungen finden Sie auf der NVIDIA-Entwickler-Website unter [CUDA-Toolkit-Downloads](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=24.04&target_type=deb_network). ``` $ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb $ sudo dpkg -i cuda-keyring_1.1-1_all.deb ``` ------ Die verbleibenden Schritte sind für die lokale Installation und die Netzwerkinstallation identisch. 1. Die Installation des CUDA-Toolkits abschließen ``` $ sudo apt update $ sudo apt install cuda-toolkit -y ``` 1. Die offene Kernel-Modulvariante des Treibers installieren ``` $ sudo apt install nvidia-open -y ``` 1. Installieren Sie GPUDirect Storage und Fabric Manager ``` $ sudo apt install nvidia-gds -y $ sudo apt install nvidia-fabricmanager -y ``` 1. Fabric Manager und Treiberpersistenz aktivieren ``` $ sudo systemctl enable nvidia-fabricmanager $ sudo systemctl enable nvidia-persistenced ``` 1. (*Nur P6-B200 und P6-B300*) Diese Instance-Typen erfordern die Installation und Konfiguration zusätzlicher Pakete, die im Lieferumfang des NVIDIA CUDA Toolkit enthalten sind. 1. Installieren Sie die neuesten spezifischen Gerätetreiber- und Diagnosedienstprogramme. InfiniBand ``` $ sudo apt install linux-modules-extra-$(uname -r) -y $ sudo apt install infiniband-diags -y ``` 1. Installieren Sie den NVIDIA Link Subnet Manager. ``` $ sudo apt install nvlsm -y ``` 1. Starten Sie die Instance neu. ``` sudo reboot ``` 1. Aktualisieren Sie Ihren Pfad und fügen Sie die folgende Umgebungsvariable hinzu. ``` $ export PATH=${PATH}:/usr/local/cuda-13.0/bin $ export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/cuda-13.0/lib64 ``` ### Windows-Betriebssysteme Zur Installation des NVIDIA-Treibers unter Windows führen Sie die folgenden Schritte aus: 1. Öffnen Sie das Verzeichnis, in das Sie den Treiber heruntergeladen haben, und starten Sie die Installationsdatei. Befolgen Sie die Anweisungen, um den Treiber zu installieren, und starten Sie die Instance neu, wenn Sie dazu aufgefordert werden. 1. Deaktivieren Sie im Geräte-Manager den Displayadapter mit dem Namen **Microsoft Basic Display Adapter**, der mit einem Warnsymbol gekennzeichnet ist. Installieren Sie die folgenden Windows-Features: **Media Foundation** und **Quality Windows Audio Video Experience**. **Wichtig** Deaktivieren Sie nicht den Displayadapter mit dem Namen **Microsoft Remote Display Adapter**. Wenn der **Microsoft Remote Display Adapter** deaktiviert ist, wird Ihre Verbindung möglicherweise unterbrochen und Versuche, nach dem Neustart eine Verbindung zur Instance herzustellen, schlagen möglicherweise fehl. 1. Prüfen Sie im Geräte-Manager, ob die GPU korrekt funktioniert. 1. Führen Sie die Optimierungsschritte unter [Optimieren Sie die GPU-Einstellungen auf EC2 Amazon-Instances](optimize_gpu.md) aus, um die beste Leistung für Ihre GPU zu erzielen.