Gebrauchte Server-Hardware für lokale KI

Was dieser Artikel über gebrauchte Server-Hardware behandelt

• Wann gebrauchte Server-Hardware für lokale KI sinnvoll ist.
• Worauf beim Kauf geachtet werden muss.
• Welche Komponenten wichtig sind: CPU, RAM, PCIe, Netzteil, Kühlung.
• Wie Lärm, Stromverbrauch und Größe ins Gewicht fallen.
• Typische gebrauchte Server- und Workstation-Plattformen.

Einleitung: Gebrauchte Server-Hardware für lokale KI

Neue Workstations mit mehreren GPUs sind teuer. Gebrauchte Server-Hardware aus Rechenzentren oder Unternehmensabgängen kann eine kostengünstige Alternative sein. Gerade für Experimente, RAG-Systeme, kleinere Modelle oder den Betrieb eines lokalen KI-Homelabs reichen oft ältere Server, die im professionellen Umfeld ausgemustert wurden.

Allerdings bringt gebrauchte Server-Hardware auch Nachteile: Lärm, hoher Stromverbrauch, begrenzte Treiberunterstützung und oft hohes Gewicht. Wer die richtigen Komponenten wählt, bekommt viel Leistung für wenig Geld. Wer falsch kauft, endet mit einem lauten Heizlüfter.

Warum gebrauchte Server-Hardware?

• Preis: Viel RAM, viele Kerne und PCIe-Lanes für wenig Geld.
• Erweiterbarkeit: Mehrere RAM-Steckplätze, PCIe-Steckplätze und Laufwerksschächte.
• Stabilität: Gebaut für Dauerbetrieb.
• ECC-RAM: Bessere Stabilität bei langen Berechnungen.
• IPMI: Fernverwaltung auch ohne Monitor.

Wichtige Begriffe

• ECC: Error-Correcting Code, schützt RAM vor Bit-Fehlern.
• IPMI: Intelligent Platform Management Interface, Fernsteuerung des Servers.
• BMC: Baseboard Management Controller, Hardware für IPMI.
• PCIe-Lanes: Verbindungswege zur GPU, mehr ist besser.
• TDP: Thermal Design Power, maximale Abwärmeleistung.
• Rackmount: 19-Zoll-Gerät für Serverschränke.
• Tower: Stehender Server, oft leiser und für Homelabs geeigneter.

Was beim Kauf wichtig ist

CPU

• Viele Kerne helfen beim Datenladen und Parallelbetrieb, nicht zwingend bei der GPU-Inferenz.
• Wichtig: Genug PCIe-Lanes, oft über zwei CPUs.
• Xeon E5 v3/v4 oder Xeon Scalable sind günstige Kandidaten.
• AMD EPYC 7001/7002 bietet viele PCIe-Lanes.

RAM

• Mindestens 64 GB, besser 128 GB oder 256 GB für grössere Modelle.
• ECC-RAM wird empfohlen.
• DDR4 ist aktuell der Sweet Spot bei Preis und Verfügbarkeit.

PCIe und GPU

• Mindestens ein x16-Steckplatz für eine Consumer-GPU.
• Bei mehreren GPUs: Board mit genug Platz, Lanes und Stromversorgung.
• Netzteil muss genug 6- oder 8-Pin-Stecker für GPUs haben.
• GPU-Passthrough in Proxmox oder ESXi erfordert iommu/VT-d.

Stromversorgung

• Gebrauchte Server haben oft redundante Netzteile.
• Effizienzklassen wie 80 Plus Gold oder Platinum senken den Stromverbrauch.
• TDP der CPU und GPU addieren sich schnell.

Laufwerke

• SAS- oder SATA-Controller, eventuell RAID.
• SSDs für System und Modelle, HDDs für Daten.
• NVMe über PCIe-Adapter möglich.

Kühlung und Lärm

• Rackserver sind oft laut, besonders 1U-Geräte.
• Tower-Server oder Workstations sind meist leiser.
• Lüfter können getauscht werden, muss aber mit dem BMC kompatibel sein.

Typische Plattformen

Dell PowerEdge

• R730, R740, T630, T640.
• Gute Verfügbarkeit, viele Ersatzteile.
• R-Modelle sind Rackserver, T-Modelle Tower.

HPE ProLiant

• DL380, DL360, ML350.
• ML-Serie als Tower oft leiser.

Supermicro

• Sehr flexible Barebone-Systeme.
• Häufig gute GPU-Unterstützung.
• Oft lauter als Dell oder HPE.

Lenovo ThinkSystem / ThinkStation

• Workstations oft leiser und kompakter.
• ThinkStation P520 oder P720 für GPUs.

Fujitsu Primergy

• Solide Bauqualität, manchmal günstiger.
• Verfügbarkeit von Ersatzteilen schwankt.

Was sollte man vermeiden?

• Sehr alte CPUs ohne AVX2, viele moderne KI-Tools brauchen AVX2.
• Nur DDR3-RAM, zu langsam und limitiert.
• 1U-Rackserver mit Consumer-GPUs: oft Platz- und Kühlprobleme.
• Unbekannte Hersteller ohne BIOS-Updates.
• Geräte mit proprietären Lüftern, die laut und teuer zu ersetzen sind.

Stromkosten beachten

Gebrauchte Server können bei Volllast mehrere hundert Watt verbrauchen. Ein typisches Setup:

• Server mit zwei CPUs und RAM: 150 bis 300 Watt im Leerlauf.
• GPU: zusätzlich 150 bis 400 Watt.
• Bei Volllast schnell 500 bis 1000 Watt.

Bei 0,35 Euro pro kWh kosten 500 Watt Dauerbetrieb ca. 1500 Euro pro Jahr. Das kann schnell teurer sein als die Hardware selbst.

GPU-Auswahl für gebrauchte Server

• Consumer-GPUs wie RTX 3090, 4090 oder 4070 Ti Super bieten viel VRAM für den Preis.
• Profi-GPUs wie A100 oder A40 brauchen mehr Strom und Kühlung.
• AMD-GPUs sind günstiger, aber ROCm-Unterstützung schwankt.
• Ältere GPUs wie GTX 1080 Ti haben nur begrenzten Tensor-Core-Support.

Einsatzmöglichkeiten

• Proxmox-Host: Mehrere VMs und LXC für KI-Tools.
• Ollama-Server: Mehrere Modelle gleichzeitig im RAM.
• RAG-System: Datenbank, Embeddings und Sprachmodell auf einem Host.
• KI-Workshop: Training kleinerer Modelle oder Fine-Tuning.
• Experimentierplattform: Testen verschiedener GPUs und Setups.

Weiterführende Links und Infos

• BotServ.de KI-PC für Ollama
• BotServ.de KI-Workstation
• BotServ.de GPU-Vergleich
• BotServ.de Proxmox Grundlagen

FAQ: Gebrauchte Server-Hardware

Lohnt sich ein gebrauchter Server für KI? Ja, wenn Du genug RAM, PCIe-Lanes und Platz hast und Dir Strom und Lärm egal sind.

Was kostet ein brauchbarer gebrauchter Server? Oft 300 bis 800 Euro für das Barebone mit CPU und RAM, GPUs kommen extra.

Sind Rackserver zu laut für Wohnzimmer? Meist ja. Tower-Server oder Workstations sind leiser.

Brauche ich ECC-RAM? Für lange Berechnungen ist es empfohlen, aber nicht zwingend.

Kann ich mehrere GPUs betreiben? Nur, wenn das Board, das Netzteil und die Kühlung mitspielen.

Quellen und weiterführende Literatur

• ServeTheHome Forum: https://forums.servethehome.com/
• Proxmox VE: https://pve.proxmox.com/
• Ollama: https://ollama.com/

Zusammenfassung: Gebrauchte Server-Hardware für lokale KI

Gebrauchte Server-Hardware kann ein kostengünstiger Einstieg in lokale KI sein. Entscheidend sind CPU mit vielen PCIe-Lanes, ausreichend RAM, passende GPU-Unterstützung und ein leises, stromsparendes Netzteil. Rackserver sind laut, Tower-Server oder Workstations meist besser für Homelabs geeignet. Wer Stromkosten, Lärm und Ersatzteile berücksichtigt, bekommt mit gebrauchter Hardware viel Rechenleistung für wenig Geld.