Proxmox für KI: Virtualisierung

Was dieser Artikel behandelt

• Wie Proxmox VE für KI-Services eingesetzt wird.
• Wann VMs und wann LXC-Container passen.
• Wie GPU-Passthrough funktioniert.
• Wie Du Ollama in einer VM oder einem Container betreibst.
• Typische Stolpersteine bei Proxmox.

Einleitung

Proxmox VE ist eine Open-Source-Virtualisierungsplattform. Sie eignet sich hervorragend, um einen KI-Server aufzusetzen und verschiedene Services sauber voneinander zu trennen. Du kannst Ollama in einer VM laufen lassen, einen RAG-Service in einer weiteren VM und einen Reverse-Proxy in einem LXC-Container. Das macht das Setup übersichtlich und einfacher zu warten.

Warum Proxmox für KI?

Wenn Du nur einen KI-Service betreibst, brauchst Du keine Virtualisierung. Sobald Du aber mehrere Aufgaben hast, lohnt sich Proxmox. Du kannst Dienste isolieren, Ressourcen gezielt zuweisen und Snapshots vor Updates erstellen. Wenn ein Experiment schiefgeht, rollst Du einfach zurück. Für KI-Workloads ist GPU-Passthrough der entscheidende Punkt, damit eine VM direkten Zugriff auf die Grafikkarte bekommt.

Proxmox kurz erklärt

Proxmox VE kombiniert KVM für virtuelle Maschinen und LXC für leichtgewichtige Container. Du steuerst alles über eine Web-Oberfläche. Speicher, Netzwerk und Ressourcen lassen sich zentral verwalten. Für KI sind besonders PCI-Passthrough und RAM-Zuweisung wichtig, damit VMs genug Power für Modelle haben.

Für wen ist dieser Artikel gedacht?

• Für Nutzer, die einen Heimserver oder dedizierten Server virtualisieren wollen.
• Für Einsteiger in Proxmox mit Interesse an KI.
• Für alle, die Ollama oder KI-Tools von anderen Diensten isolieren wollen.

Wichtige Begriffe

Begriff	Bedeutung
Proxmox VE	Virtualisierungsplattform mit KVM und LXC
KVM	Kernel-based Virtual Machine, vollständige VMs
LXC	Linux Container, leichtgewichtige Container ohne eigenen Kernel
VM	Virtuelle Maschine mit eigenem Betriebssystem
GPU-Passthrough	Grafikkarte wird direkt an VM durchgereicht
IOMMU	Hardware-Feature für PCI-Geräte-Isolation
PCI	Schnittstelle für Erweiterungskarten wie GPUs
Ceph	Speicherlösung für Cluster, optional
ISO Image	Installationsabbild für VMs
Template	Vorlage für schnelle VM- oder Container-Erstellung

Installation von Proxmox

1. Lade Proxmox VE ISO herunter.
2. Erstelle einen bootbaren USB-Stick.
3. Boote den Server und installiere Proxmox.
4. Wähle Festplatte, Passwort und Netzwerkkonfiguration.
5. Öffne nach dem Neustart die Weboberfläche unter https://IP:8006.

Erste VM für Ollama anlegen

1. Lade ein Ubuntu- oder Debian-ISO hoch.
2. Erstelle eine neue VM mit mindestens 4 Kernen, 32 GB RAM und 100 GB Festplatte.
3. Installiere Linux in der VM.
4. Installiere Ollama:

curl -fsSL https://ollama.com/install.sh | sh
ollama run llama3.2

GPU-Passthrough einrichten

Für NVIDIA-GPUs brauchst Du IOMMU im BIOS. Aktiviere VT-d oder AMD-Vi. In Proxmox musst Du die Kernel-Kommandozeile anpassen:

# /etc/default/grub
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"

update-grub
reboot

Danach kannst Du die GPU in der VM-Hardware als PCI-Gerät hinzufügen. Das ist nicht trivial und hängt stark von Mainboard und GPU ab.

LXC-Container statt VM

LXC-Container starten schneller und brauchen weniger RAM. Für leichte Dienste wie einen Reverse-Proxy, Open WebUI oder kleine APIs sind LXC-Container ideal. Für Ollama mit GPU ist eine VM meist besser, weil GPU-Passthrough einfacher ist.

Netzwerk in Proxmox

Proxmox nutzt Linux-Bridges. Für den Anfang reicht einfaches Bridged Networking. Erstelle je VM oder Container eine eigene IP im Heimnetz. So kannst Du Dienste gezielt über Firewall-Regeln absichern.

Typische Stolpersteine

• IOMMU nicht aktiviert: Ohne IOMMU im BIOS kein GPU-Passthrough.
• GPU in Host gebunden: NVIDIA-Treiber müssen manchmal auf dem Host entladen werden, bevor Passthrough funktioniert.
• Zu wenig RAM: VMs für Ollama brauchen viel RAM. Plane 32 GB oder mehr pro VM ein.
• Festplattenspeicher: Modelle sind gross. Mindestens 100 GB pro VM, besser 500 GB.
• CPU-Pinning: Setze CPU-Kerne gezielt fest, damit die VM stabil läuft.
• Snapshots vor Updates: Erstelle immer einen Snapshot, bevor Du ein neues Modell oder Update testest.
• Netzwerk falsch: Achte darauf, dass VMs und Container im richtigen VLAN hängen.
• Lizenz kostenlos: Proxmox ist Open Source, aber Support kostet. Ohne Support bekommst Du einen Hinweis im Web-Interface.
• USB durchreichen: Für USB-Geräte musst Du manchmal manuell USB-Passthrough einrichten.
• Backup-Strategie: Proxmox Backup Server ist optional, aber empfohlen.

Hardware, Kosten und Sicherheit

Proxmox braucht keinen Windows-Server. Es läuft auf Consumer-Hardware. Entscheidend sind RAM und CPU-Kerne. Für GPU-Passthrough ist ein geeignetes Mainboard wichtig. Die Software selbst ist kostenlos. Support-Verträge gibt es optional. Sicherheit erreichtst Du durch Netzwerksegmentierung, Backups und getrennte VMs pro Service.

Weiterführende Links

• Self-Hosting Übersicht
• Ubuntu für KI
• Debian für KI
• Docker Grundlagen
• Ollama auf Linux
• CPU vs GPU
• GPU-Offloading

FAQ

Brauche ich Proxmox für Ollama?

Nein, Ollama läuft auch direkt auf Linux. Proxmox hilft, wenn Du mehrere Dienste isoliert betreiben willst.

Läuft Proxmox auf Consumer-Hardware?

Ja, viele nutzen Proxmox auf Heimservern. Achte auf IOMMU-Support für GPU-Passthrough.

Kann ich jede GPU durchreichen?

Nicht jede GPU oder jedes Mainboard unterstützt Passthrough. Prüfe IOMMU-Gruppen und Mainboard-Support im Voraus.

Was ist besser: VM oder LXC für Ollama?

VM ist besser, wenn Du GPU-Passthrough brauchst. LXC ist leichter, funktioniert aber schlecht mit GPU-Passthrough.

Wie viel RAM braucht eine KI-VM?

Für 7B-Modelle reichen 16 GB, für 13B-Modelle 32 GB, für grössere Modelle 64 GB oder mehr.

Ist Proxmox kostenlos?

Ja, die Software ist Open Source. Support-Verträge sind optional.

Kann ich mehrere GPUs nutzen?

Ja, Du kannst jede GPU einzeln einer VM zuweisen, solange IOMMU korrekt eingerichtet ist.

Wie sichere ich meine VMs?

Nutze Snapshots, externe Backups und trenne Netzwerke. Proxmox Backup Server ist ein gutes Option.

Lohnt sich Proxmox für einen einzelnen KI-Service?

Eher nicht. Für einen einzelnen Service ist einfaches Linux direkt auf der Hardware ausreichend.

Wie ist die Web-Oberfläche erreichbar?

Standardmässig über https://SERVER-IP:8006. Der Login erfolgt mit root und dem Installationspasswort.

Quellen

• Proxmox VE Documentation (proxmox.com)
• Ollama Linux Installation (ollama.com)
• PCI Passthrough Guide (archlinux.org)
• KVM und IOMMU Primer (kernel.org)