Linux für KI: Ubuntu und Server-Setup

Was dieser Artikel behandelt

• Wie Du einen Linux-Server für lokale KI aufsetzt.
• Welche Distributionen sich eignen.
• Wie Du KI-Software unter Linux installierst.
• Verweise auf detaillierte Anleitungen.

Einleitung

Linux ist die Basis für die meisten Self-Hosting-Setups. Für lokale KI ist Ubuntu die beliebteste Wahl, weil es einfach zu installieren ist, lange Support-Zyklen hat und von Ollama, Docker und den meisten KI-Tools offiziell unterstützt wird.

Inhalt

• Ubuntu für KI: Server-Setup - Komplette Anleitung: Installation, SSH, Updates, KI-Software.
• Debian für KI - Ubuntu-Alternative ohne Snap.
• Proxmox für KI - Virtualisierung mit VMs und GPU-Passthrough.
• Headless-Setup - KI-Server ohne Monitor betreiben.

Wofür Du ein Linux-Setup brauchst

Sobald ein Modell dauerhaft laufen soll, führt der Weg an einem Linux-Server kaum vorbei. Die Gründe sind praktisch:

• Dauerbetrieb: Ein Agent oder ein Ollama-Service soll nachts weiterlaufen, ohne dass Dein Arbeitsrechner an ist.
• Ressourcen: Server mit viel RAM oder einer GPU sind fürs lokale Inferenz deutlich günstiger als Cloud-GPUs auf Dauer.
• Datenhoheit: Dokumente, Logs und Modelle bleiben in Deinem Netz, nicht auf fremden Maschinen.

Mindestausstattung eines brauchbaren KI-Servers

• RAM: 16 GB sind der Einstieg, 32 bis 64 GB sind komfortabel für 7B- bis 13B-Modelle und parallele Dienste.
• SSD: NVMe mit ausreichend Platz, Modelle belegen schnell 50 bis 200 GB.
• GPU: Optional, aber fast jede NVIDIA-Karte mit genug VRAM beschleunigt Inferenz massiv. AMD geht per ROCm, ist aber holpriger.
• Netzwerk: 1 Gbit reicht völlig, wichtiger ist eine saubere Absicherung per Firewall und VPN statt offener Ports.

Reihenfolge für den Aufbau

1. Ubuntu- oder Debian-Server installieren, SSH mit Schlüsseln statt Passwörtern.
2. Updates automatisieren, ufw oder eine echte Firewall aktivieren.
3. Docker installieren, danach die eigentlichen KI-Dienste als Container.
4. Remote-Zugriff über Tailscale oder WireGuard, nicht über offene Ports ins Internet.

Die Unterartikel unten gehen jeden Schritt im Detail durch.

Weiterführende Links

• Self-Hosting Übersicht
• Docker Grundlagen
• Ollama auf Linux
• Firewall einrichten
• Tailscale VPN