NVIDIA-Treiber, Docker und GPU-Support unter Linux

Diese Anleitung bietet eine schrittweise Einführung zur Einrichtung eines Linux-Systems (insbesondere Ubuntu) mit NVIDIA-Treibern, Docker und den notwendigen Tools, um GPU-beschleunigte Docker-Container auszuführen. Diese Konfiguration ist unerlässlich für Deep Learning, Data Science und andere Arbeitslasten, die von der Leistung einer NVIDIA GPU in isolierten Container-Umgebungen profitieren können.

Hinweis: Wenn Sie Ubuntu 24.04 verwenden und auf Probleme wie einen schwarzen Bildschirm oder Fehler bei der Treiberinstallation stoßen, müssen Sie möglicherweise das nokaslr-Workaround anwenden. Eine Lösung finden Sie in unserem Leitfaden Lösen von NVIDIA-Treiberproblemen unter Ubuntu 24.04 mit nokaslr.

Dieser Artikel ist so gestaltet, dass er auch bei begrenzten Linux-Kenntnissen leicht verständlich ist. Jeder Befehl wird aufgeschlüsselt und erklärt.

1. Aktualisieren Sie Ihr System

Bevor Sie neue Software installieren, ist es immer ratsam, die Paketliste Ihres Systems zu aktualisieren. So stellen Sie sicher, dass Sie die neuesten Informationen zu verfügbaren Paketen und deren Versionen haben.

bash

sudo apt update

Erklärung:

sudo: Dieser Befehl steht für "Super User Do" und ermöglicht es Ihnen, Befehle mit administrativen Rechten auszuführen, was für die Verwaltung von systemweiter Software erforderlich ist.
apt update: Dieser Befehl lädt die neuesten Paketinformationen von allen konfigurierten Softwarequellen herunter. Es werden keine Pakete installiert oder aktualisiert, sondern lediglich der lokale Paketindex aktualisiert.

2. Installation der NVIDIA-Grafiktreiber

Um Ihre NVIDIA GPU nutzen zu können, brauchen Sie den NVIDIA-Kerneltreiber. Ubuntu liefert sowohl eine proprietäre als auch eine Open-Kernel-Variante — laut NVIDIAs Dokumentation sind die Open-Kernel-Module der Standard und die Empfehlung für Datacenter- und Turing-und-neuere GPUs, während das proprietäre Modul der Standard für Pre-Turing-GeForce bleibt. Diese Anleitung installiert die Open-Variante. Das Graphics Drivers PPA unten ist optional (dasselbe Paket nvidia-driver-580-open erscheint auch in Ubuntus offiziellen Noble-Repos); es bringt neue Branches nur schneller.

Fügen Sie das Graphics Drivers PPA hinzu

bash

sudo add-apt-repository ppa:graphics-drivers/ppa

Erklärung:

add-apt-repository: Dieser Befehl fügt eine neue Softwarequelle zur Liste der Quellen Ihres Systems hinzu.
ppa:graphics-drivers/ppa: Dies ist die Adresse des "Graphics Drivers"-Teams PPA, das neue NVIDIA-Treiber-Branches schneller als die offiziellen Ubuntu-Archive liefert; dieselben Pakete landen später auch in noble-updates.

Aktualisieren Sie die Paketliste erneut

Nachdem Sie das neue PPA hinzugefügt haben, müssen Sie den Paketindex erneut aktualisieren, um die Pakete aus der neuen Quelle einzubeziehen.

bash

sudo apt update

Installieren Sie den Treiber

Nun können Sie den NVIDIA Treiber installieren. In diesem Beispiel installieren wir die Version 580.

bash

sudo apt install nvidia-driver-580-open -y

Erklärung:

apt install: Der Befehl zum Installieren eines Softwarepakets.
nvidia-driver-580-open: Der Name des Treiberpakets — NVIDIAs Open-Kernel-Modulvariante, nicht das geschlossene proprietäre Modul.
-y: Diese Option beantwortet alle Bestätigungsabfragen während der Installation automatisch mit "Ja" und beschleunigt so den Vorgang.

Nach der Installation empfiehlt es sich, Ihr System neu zu starten, um sicherzustellen, dass der neue Treiber korrekt geladen wird.

bash

sudo reboot

3. Installieren Sie das NVIDIA CUDA Toolkit

Dieser Abschnitt ist für den Docker-Workflow unten optional: CUDA-Container-Images bringen die Userspace-CUDA-Bibliotheken mit, und das NVIDIA Container Toolkit injiziert alles Benötigte — der Host braucht nur den NVIDIA-Kerneltreiber. Installieren Sie das Toolkit nur, wenn Sie CUDA-Code auf dem Host selbst kompilieren.

Fügen Sie das CUDA-Repository hinzu

Laden Sie zunächst den NVIDIA CUDA Repository Keyring herunter und installieren Sie ihn, um die Authentizität der Pakete zu überprüfen.

bash

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb

Erläuterung:

wget: Ein Kommandozeilenwerkzeug zum Herunterladen von Dateien aus dem Internet.
dpkg -i: Der Befehl zur Installation einer Debian-Paketdatei (.deb). Dieser Befehl installiert den Keyring, der die kryptografischen Schlüssel enthält, mit denen die Softwarepakete von NVIDIA signiert werden.

Aktualisieren und Installieren von CUDA

Nachdem das Repository konfiguriert wurde, aktualisieren Sie die Paketliste und installieren Sie das CUDA Toolkit.

bash

sudo apt-get update
sudo apt-get -y install cuda-toolkit-13-0

Erklärung:

cuda-toolkit-13-0: Damit wird Version 13.0 des CUDA Toolkits installiert.

4. Installation der Docker Engine

Mit Docker können Sie Anwendungen und deren Abhängigkeiten in isolierte Umgebungen, sogenannte Container, verpacken.

Alte Docker-Versionen entfernen

Entfernen Sie zunächst alle alten oder widersprüchlichen Docker-Pakete, um eine saubere Installation zu gewährleisten.

bash

for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done

**Explanation:

Dieser Befehl verwendet eine for-Schleife, um eine Liste älterer Docker-bezogener Paketnamen zu durchlaufen und entfernt jedes einzelne mit apt-get remove.

Docker's `apt`-Repository einrichten

Als nächstes richten Sie das offizielle Repository von Docker ein, um die neueste Version der Docker Engine zu installieren.

bash

# Installieren Sie Pakete, damit apt ein Repository über HTTPS verwenden kann
sudo apt-get install ca-certificates curl -y
 
# Erstellen Sie ein Verzeichnis für apt keyrings
sudo install -m 0755 -d /etc/apt/keyrings
 
# Fügen Sie den offiziellen GPG-Schlüssel von Docker hinzu
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
 
# Fügen Sie das Docker-Repository zu den Apt-Quellen hinzu
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

Erläuterung:

Der erste Befehl installiert die erforderlichen Pakete, um ein sicheres Repository hinzuzufügen.
Die nächsten Befehle laden den offiziellen GPG-Schlüssel von Docker herunter und fügen ihn zum Schlüsselbund Ihres Systems hinzu. Dieser Schlüssel wird verwendet, um zu überprüfen, dass die heruntergeladenen Docker-Pakete authentisch sind.
Der abschließende echo-Befehl fügt das offizielle Docker-Software-Repository zur Quellenliste Ihres Systems hinzu, sodass apt weiß, wo die Docker-Pakete zu finden sind.

Docker-Pakete installieren

Abschließend aktualisieren Sie den Paketindex und installieren die Docker Engine sowie die zugehörigen Komponenten.

bash

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin -y

**Explanation:

docker-ce: Docker Community Edition, die Kern-Engine.
docker-ce-cli: Die Befehlszeilenschnittstelle (CLI) zur Interaktion mit Docker.
containerd.io: Eine Container-Laufzeitumgebung, die den Lebenszyklus von Containern verwaltet.
docker-buildx-plugin und docker-compose-plugin: Plugins, die zusätzliche Funktionen wie das Erstellen von Multi-Plattform-Images und das Verwalten von Multi-Container-Anwendungen hinzufügen.

5. Aktivieren Sie GPU-Unterstützung in Docker

Damit Docker-Container auf die NVIDIA GPU des Hosts zugreifen können, müssen Sie das NVIDIA Container Toolkit installieren.

Richten Sie das NVIDIA Container Toolkit Repository ein

Ähnlich wie bei Docker müssen Sie zunächst das offizielle Repository für das NVIDIA Container Toolkit hinzufügen.

bash

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

**Explanation:

Diese Befehlsfolge lädt den GPG-Schlüssel für das NVIDIA Container Toolkit Repository herunter, fügt ihn Ihrem System hinzu und ergänzt anschließend das Repository in Ihrer Quellenliste.

Installieren Sie das Toolkit und konfigurieren Sie Docker

Installieren Sie nun das Toolkit-Paket und konfigurieren Sie Docker so, dass die NVIDIA Container Runtime verwendet wird.

bash

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

**Explanation:

nvidia-container-toolkit: Dieses Paket enthält die erforderlichen Tools, um Docker mit den NVIDIA-Treibern des Hosts zu verbinden.
nvidia-ctk runtime configure: Dieser Befehl konfiguriert den Docker-Daemon so, dass er die NVIDIA Runtime erkennt und verwendet, was für den Zugriff auf die GPU erforderlich ist.
systemctl restart docker: Damit wird der Docker-Dienst neu gestartet, um die neue Konfiguration zu übernehmen.

6. Installation überprüfen

Sie können überprüfen, ob Docker Zugriff auf die GPU hat, indem Sie einen Beispiel-CUDA-Container ausführen.

bash

docker run --rm --gpus all nvidia/cuda:13.3.1-base-ubuntu24.04 nvidia-smi

Erklärung:

docker run: Der Befehl, um einen Container auszuführen.
--rm: Entfernt den Container automatisch, wenn er beendet wird.
--gpus all: Dieses entscheidende Flag weist Docker an, alle verfügbaren Host-GPUs für den Container freizugeben.
nvidia/cuda:13.3.1-base-ubuntu24.04: Der Name des verwendeten Docker-Images. Dies ist ein offizielles NVIDIA-Image mit vorinstalliertem CUDA (13.3.1 ist der neueste veröffentlichte Tag Stand September 2026).
nvidia-smi: Der Befehl, der im Container ausgeführt wird. Es ist das NVIDIA System Management Interface, das den GPU-Status anzeigt.

War die Installation erfolgreich, gibt dieser Befehl eine Tabelle mit Informationen zu Ihrer NVIDIA-GPU aus — genau wie wenn Sie nvidia-smi direkt auf Ihrem Host-System ausführen.

Herzlichen Glückwunsch! Sie haben jetzt eine voll funktionsfähige Umgebung, um GPU-beschleunigte Anwendungen in Docker-Containern auszuführen.