RAM für lokale KI kaufen
Was dieser Artikel über RAM-Kauf für KI behandelt
- Warum RAM für lokale KI wichtig ist.
- Wieviel RAM verschiedene Modelle brauchen.
- DDR4 vs. DDR5 und RAM-Takt.
- ECC und Dual-Channel.
- Praktische Empfehlungen.
Einleitung: RAM für lokale KI kaufen
Neben der GPU und CPU ist der Arbeitsspeicher eine der wichtigsten Komponenten für lokale KI. Wer grössere Modelle oder lange Kontexte nutzen möchte, braucht viel RAM. Ein zu kleiner Speicher zwingt das Modell, Teile auf langsame Festplatten oder Swap auszulagern, was die Geschwindigkeit massiv sinken lässt. Die richtige RAM-Auswahl sorgt dafür, dass Modelle schnell und stabil laufen.
Dieser Artikel zeigt, wie viel RAM nötig ist und worauf beim Kauf zu achten ist.
Wichtige Begriffe
- RAM: Arbeitsspeicher.
- DDR4/DDR5: Standards für Speicher.
- Takt: Geschwindigkeit in MHz.
- Timings: Latenzwerte.
- ECC: Fehlerkorrigierender Speicher.
- Kanäle: Parallel nutzbare Speicherbänke.
- Dual-Channel: Zwei Kanäle parallel.
- Quad-Channel: Vier Kanäle parallel.
- UDIMM, RDIMM: Speichermodule für Desktop und Server.
- Unbuffered: Keine Pufferung, geringe Latenz.
Wie viel RAM brauche ich?
| Modellgrösse | Quantisierung | RAM-Bedarf |
|---|---|---|
| 3B | Q4 | 4-6 GB |
| 7B | Q4 | 8-12 GB |
| 13B | Q4 | 14-20 GB |
| 30B | Q4 | 30-40 GB |
| 70B | Q4 | 80-100 GB |
Diese Werte gelten bei CPU-Betrieb. Bei GPU-Betrieb muss das Modell in den VRAM passen, der restliche Speicher wird für OS, Kontext und andere Anwendungen gebraucht.
DDR4 vs. DDR5
| Aspekt | DDR4 | DDR5 |
|---|---|---|
| Takt | bis 3200 MHz | ab 4800 MHz |
| Bandbreite | niedriger | höher |
| Latenz | oft niedriger | etwas höher |
| Preis | günstiger | teurer |
| Verfügbarkeit | breit | aktuelle Plattformen |
DDR5 bietet mehr Bandbreite, wichtig bei CPU-basierten KI-Workloads. DDR4 reicht für viele Einstiegs-Setups.
Takt und Timings
- Höherer Takt bringt mehr Bandbreite.
- Niedrigere Timings bringen weniger Latenz.
- Für KI ist Takt meist wichtiger als extreme Low-Latency.
- 3200 MHz DDR4 oder 5600 MHz DDR5 sind gute Ausgangspunkte.
Kanäle
- Dual-Channel ist Standard und wichtig.
- Quad-Channel bei Workstation-CPUs verbessert Bandbreite weiter.
- Immer Module in passenden Paaren bestücken.
ECC
ECC korrigiert Speicherfehler und ist bei Workstation- und Server-Plattformen sinnvoll. Für reine KI-Inferenz im Homelab nicht zwingend, aber bei langen Trainings oder 24/7-Betrieb empfohlen.
UDIMM, RDIMM, LRDIMM
- UDIMM: Standard-Desktop-Module.
- RDIMM: Registrierte Module für Server.
- LRDIMM: Reduzierte Belastung, noch grössere Kapazitäten.
Consumer-CPUs verwenden UDIMM, Workstation- und Server-CPUs RDIMM/LRDIMM.
RAM-Bedarf für Ollama
- 7B-Modell mit Q4: 8-16 GB System-RAM.
- 13B-Modell: 16-32 GB.
- 70B-Modell: 64-128 GB und mehr.
- Grösserer Kontext und gleichzeitige Modelle erhöhen Bedarf.
Tipps
- Lieber mehr als zu wenig RAM.
- Dual-Channel immer nutzen.
- DDR5, wenn neue Plattform vorhanden.
- ECC bei Workstation-Plattformen.
- Speicher nicht mit vielen kleinen Modulen bestücken.
- Bei Multi-GPU mehr RAM für OS und Buffer einplanen.
- Testen, ob RAM-Takt im BIOS korrekt eingestellt ist.
Typische Fehler
- Nur ein RAM-Modul: Single-Channel verlangsamt System.
- Zu wenig RAM: Modell wird ausgelagert.
- Falscher Typ: UDIMM in RDIMM-Slot passt nicht.
- Nicht kompatible Taktung: System startet nicht oder drosselt.
- 2x16 statt 4x8: Besser für Erweiterung.
- Nicht XMP/EXPO aktivieren: RAM läuft langsamer als möglich.
Weiterführende Links und Infos
- BotServ.de CPU für KI
- BotServ.de GPU für lokale KI kaufen
- BotServ.de KI-PC zusammenstellen
- BotServ.de KI-Workstation
FAQ: RAM für KI
Brauche ich DDR5 für KI? Nicht zwingend, aber es bringt Bandbreite.
Ist ECC wichtig? Für Workstations und lange Läufe ja, für Gaming-Homelabs eher nein.
Wieviel RAM für 7B Modelle? Mindestens 16 GB, wenn GPU verwendet wird, sonst 32 GB.
Sind 32 GB für Ollama genug? Ja für 7B und viele 13B-Modelle. 70B braucht deutlich mehr.
Hilft schneller RAM? Ja, besonders bei CPU-basierter Inferenz.
Quellen und weiterführende Literatur
- DDR5: https://www.jedec.org/standards-documents/focus/memory/ddr5
- Crucial RAM Guide: https://www.crucial.com/articles/about-memory/speeds-and-feeds
Zusammenfassung: RAM für lokale KI kaufen
RAM ist entscheidend für schnelle und stabile KI-Workloads. 7B-Modelle kommen mit 16-32 GB aus, grössere oder CPU-basierte Setups brauchen deutlich mehr. DDR5 und hohe Taktraten helfen bei CPU-Workloads, ECC sorgt für Stabilität auf Workstation-Plattformen. Wer Dual- oder Quad-Channel nutzt, ausreichend dimensioniert und auf Kompatibilität achtet, vermeidet Speicherengpässe und holt das Maximum aus der Hardware.