Proxmox für lokale KI
Was dieser Artikel behandelt
- Warum Proxmox für KI-Server geeignet ist.
- Unterschied zwischen VMs und LXC-Containern.
- Wie GPU-Passthrough für KI-Workloads funktioniert.
- Sinnvolle Backup- und Wiederherstellungsstrategien.
Einleitung: Proxmox für lokale KI
Proxmox VE ist eine Open-Source-Virtualisierungsplattform. Sie kombiniert KVM für virtuelle Maschinen und LXC für leichtgewichtige Container. Wer einen KI-Server zu Hause oder im Rack betreiben möchte, kann mit Proxmox verschiedene Dienste sauber trennen: Ollama, RAG, Reverse-Proxy, Web-UI und Automatisierung laufen jeweils in ihrem eigenen Container oder ihrer eigenen VM.
Warum Proxmox für KI?
Proxmox bietet eine zentrale Web-Oberfläche, mit der sich Speicher, Netzwerk, Ressourcen und Backups verwalten lassen. Man kann Snapshots vor Updates erstellen, Ressourcen gezielt zuweisen und neue Services schnell testen. Für KI-Workloads ist GPU-Passthrough entscheidend: Eine VM erhält direkten Zugriff auf die Grafikkarte.
VMs vs. LXC
VMs laufen auf KVM und sind vollständig isoliert. Sie eignen sich für Ollama oder vLLM, wenn direkter GPU-Zugriff nötig ist.
LXC-Container sind leichtgewichtiger und sparen Ressourcen. Sie teilen sich den Kernel des Hosts. Sie eignen sich für Web-Frontends, Reverse-Proxys, Monitoring oder kleine Python-Services.
Für eine typische lokale KI-Umgebung bietet sich eine Mischform an: Ollama in einer VM mit GPU-Passthrough, Open WebUI und RAG in LXC-Containern.
GPU-Passthrough einrichten
Für GPU-Passthrough müssen IOMMU und VT-d im BIOS aktiviert sein. Proxmox gruppiert PCI-Geräte und ermöglicht das Durchreichen an eine VM. Bei einzelnen GPUs ohne Host-Bedienoberfläche ist dies oft unkompliziert. Bei Desktops mit mehreren GPUs muss man auf Ressourcengruppen und Boot-Verhalten achten.
Ollama innerhalb einer VM erkennt die durchgereichte GPU wie eine physische Karte. Die Performance ist nahezu identisch zum Bare-Metal-Betrieb.
Backup und Wiederherstellung
Proxmox bringt ein integriertes Backup-Tool mit. Regelmäßige Backups der VMs und Container lassen sich einfach automatisieren. Wichtige Daten wie Konfigurationen, Modelle und Vektordatenbanken sollten zusätzlich an einen separaten Speicher gespiegelt werden, da Backups sonst wiederholt viel Speicher verbrauchen.
Zusammenfassung: Proxmox für lokale KI
Proxmox ist eine stabile Basis für lokalen KI-Server. Wer mehrere Services isoliert betreiben möchte und gelegentlich GPU-Passthrough braucht, bekommt hier alle Werkzeuge. Die Detailartikel behandeln Installation, LXC-VM-Betrieb, GPU-Passthrough und Backup-Konfiguration.