Was dieser Artikel behandelt
- Wie Du KI-Services mit Docker betreibst.
- Wie Du GPU-Power in Containern nutzt.
- Wie docker-compose Multi-Container-Setups verwaltet.
- Verweise auf detaillierte Anleitungen.
Einleitung
Docker ist der Standardweg, um KI-Services zu hosten. Statt Abhängigkeiten manuell zu installieren, packst Du alles in einen Container. Das ist reproduzierbar, sauber und leicht zu verwalten. Für GPU-Beschleunigung brauchst Du das NVIDIA Container Toolkit.
Inhalt
- Docker Grundlagen - Container, Images, Volumes und docker-compose von Grund auf.
- Docker GPU-Unterstützung - NVIDIA Container Toolkit, GPU-Passthrough, Ollama mit GPU in Docker.
Wann Docker für KI-Services sinnvoll ist
Docker lohnt sich hier aus drei Gründen:
- Reproduzierbarkeit: Ein Ollama-, Open WebUI- oder n8n-Setup liegt als Compose-File im Repo und lässt sich in Minuten auf einem zweiten Server wieder aufsetzen.
- Isolation: KI-Stacks ziehen viele Abhängigkeiten. Container halten Python-Versionen und Bibliotheken vom Host-System fern.
- Updates:
docker compose pull && up -dersetzt Handpflege, solange Du Tags pinnst und vorher die Volumes sicherst.
Die Grenzen: Docker macht ein System nicht automatisch sicherer oder einfacher zu debuggen. Bei GPU-Workloads kommt das NVIDIA Container Toolkit als Extra-Schicht dazu, und wer nur einen einzigen Dienst betreibt, fährt mit einer nativen Installation oft unkomplizierter.
Schnellstart in zwei Minuten
# Beispiel: Ollama + Open WebUI als Compose-Stack
mkdir -p ~/ai-stack && cd ~/ai-stack
cat > docker-compose.yml <<'YAML'
services:
ollama:
image: ollama/ollama:latest
volumes: ["ollama:/root/.ollama"]
ports: ["11434:11434"]
restart: unless-stopped
open-webui:
image: ghcr.io/open-webui/open-webui:main
environment:
- OLLAMA_BASE_URL=http://ollama:11434
ports: ["3000:8080"]
restart: unless-stopped
depends_on: [ollama]
volumes:
ollama:
YAML
docker compose up -dDanach läuft die Chat-Oberfläche auf Port 3000 und Ollama intern ohne exponierte API auf dem Host. Details zu GPU, Backups und Absicherung findest Du in den Unterartikeln unten.