KI-Hardware

Was dieser Artikel behandelt

• Warum passende Hardware für lokale KI wichtig ist.
• Welche Inhalte zum Thema KI-Hardware auf BotServ verfügbar sind.
• Verweise auf Grundlagen, Kaufberatung und verwandte Bereiche.

Einleitung

Lokale KI braucht Hardware, die zu den Anforderungen passt. RAM, VRAM, Prozessor und Speicher entscheiden, welche Modelle laufen und wie flüssig sie arbeiten. Dieser Bereich bietet Grundlagenwissen und konkrete Kaufempfehlungen für Einsteiger und Fortgeschrittene.

Warum brauche ich passende KI-Hardware?

Ein Sprachmodell ist eine große Datei, die in den Speicher geladen und dort verarbeitet wird. Ohne genug RAM oder VRAM passen kleinere oder weniger quantisierte Modelle einfach nicht. Mit der richtigen Hardware läuft Ollama, LM Studio oder ein KI-Agent flüssig und wartet nicht ständig auf Berechnungen.

Ein Beispiel: Wer Llama 3.1 8B laufen will, braucht etwa 8 GB Speicher für das quantisierte Modell. Auf einer GPU mit 8 GB VRAM läuft das flüssig. Auf einem Rechner mit nur 16 GB RAM und CPU-Inferenz dauert jede Antwort mehrere Sekunden. Wer das vorher weiß, spart Geld und Frust.

KI-Hardware kurz erklärt

Lokale KI nutzt zwei Wege der Inferenz: CPU-basiert mit Modell im RAM, oder GPU-basiert mit Modell im VRAM. Die GPU-Variante ist deutlich schneller, braucht aber eine Grafikkarte mit ausreichend Speicher. Eine APU wie Apple Silicon oder Ryzen AI Max vereint CPU und GPU auf einem Chip und teilt sich den Speicher.

Für wen ist dieser Bereich gedacht?

• Du willst lokal KI betreiben und wissen, was Dein Rechner leisten kann.
• Du überlegst, einen neuen PC, Mini-PC oder eine Grafikkarte zu kaufen.
• Du bist Einsteiger und möchtest Werbeversprechen besser einordnen.
• Du brauchst keine tiefen Vorkenntnisse. Technische Begriffe werden in den Artikeln inline erklärt.

Inhalt und Artikel

• Grundlagen - CPU, GPU, RAM, VRAM, SSD, APU, TOPS und wie sie zusammenwirken.
• Kaufberatung - Worauf beim Kauf zu achten ist, mit Komponenten-Tabelle und Begriffen.
• KI-PC Einsteiger - Ausführliche Kaufberatung mit Preisklassen, Varianten und konkreten Modellen.

Wichtige Begriffe

• TOPS/NTOPS - Tera Operations Per Second. Die Maßeinheit für KI-Rechenleistung. Je höher der Wert, desto schneller kann ein Chip Modelle ausführen.
• APU - Accelerated Processing Unit: CPU und GPU auf einem Chip, wie bei Apple Silicon oder Ryzen AI Max.
• Unified/Shared Memory - Arbeitsspeicher wird von CPU und GPU gemeinsam genutzt. Wichtig für Apple Silicon und Ryzen AI Max.
• Quantisierung - Reduziert die Genauigkeit eines Modells, um es mit weniger Speicher laufen zu lassen.
• VRAM - Speicher der dedizierten Grafikkarte. Entscheidend für GPU-Inferenz.

Empfohlene Mini-PCs und GPUs

Passende Mini-PCs, Ryzen AI Max-Geräte und GPUs für lokale KI findest Du im Amazon Shop. Ich empfehle, dort regelmäßig vorbeizuschauen, weil sich Preise und Verfügbarkeiten schnell ändern.

Typische Stolpersteine

• RAM ist nicht VRAM - 32 GB RAM helfen wenig, wenn die GPU nur 4 GB VRAM hat. Für GPU-Inferenz zählt der Grafikspeicher.
• TOPS sagen nicht alles - Ein hoher TOPS-Wert bedeutet nicht automatisch, dass Dein Modell schnell läuft. Speicherbandbreite und Architektur sind genauso wichtig.
• Mini-PCs sind nicht aufrüstbar - Wer später mehr Speicher will, muss oft ein neues Gerät kaufen. Direkt genug RAM wählen.

Weiterführende Links

• Lokale KI Grundlagen
• RAM- und VRAM-Anforderungen
• Lokale KI Software
• KI-Agenten

FAQ - Häufige Fragen

Was ist der Unterschied zwischen RAM und VRAM?

RAM ist der Arbeitsspeicher des Rechners, VRAM der Speicher der Grafikkarte. Bei CPU-Inferenz liegt das Modell im RAM, bei GPU-Inferenz im VRAM. Mehr dazu in den KI-Hardware Grundlagen.

Brauche ich eine Grafikkarte für lokale KI?

Nicht zwingend. Kleine Modelle wie Llama 3.1 8B laufen auch auf der CPU. Für schnellere Antworten und größere Modelle ist eine GPU mit ausreichend VRAM empfohlen.

Was bedeutet TOPS?

TOPS steht für Tera Operations Per Second. Es misst, wie viele Rechenoperationen ein Chip für KI-Aufgaben pro Sekunde durchführen kann. Höhere Werte bedeuten potenziell schnellere KI-Inferenz, aber Speicherbandbreite und Architektur sind genauso wichtig.

Wie viel RAM brauche ich für lokale KI?

Für 7B-Modelle mindestens 16 GB RAM, besser 32 GB. Größere Modelle wie 70B benötigen 64 GB oder mehr.

Wie viel VRAM brauche ich für lokale KI?

Für quantisierte 7B-Modelle mindestens 8 GB VRAM. Für 13B-Modelle 12 GB oder mehr. 70B-Modelle benötigen 24 GB oder mehr.

Was ist eine APU?

Eine APU vereint CPU und GPU auf einem Chip. Beispiele sind Apple Silicon und AMD Ryzen AI Max. Der Vorteil ist, dass beide Prozessoren auf denselben Speicher zugreifen können.

Lohnt sich ein Mini-PC für lokale KI?

Ja, wenn Du kompakte und stromsparende Hardware suchst. Mini-PCs mit Ryzen AI Max oder Apple Silicon bieten viel Speicher auf kleinem Raum. Achte darauf, direkt genug RAM zu wählen.

Wo finde ich Kaufberatung?

In der Kaufberatung findest Du Empfehlungen für Einsteiger-Systeme. Der Artikel KI-PC Einsteiger bietet konkrete Modelle und Preisklassen.

Warum ist eine SSD wichtig?

Ein Sprachmodell kann mehrere Gigabyte groß sein. Eine NVMe-SSD lädt das Modell deutlich schneller als eine HDD. Das verkürzt die Startzeit und sorgt für flüssigeres Arbeiten.

Was ist Unified Memory?

Bei Unified Memory teilen sich CPU und GPU denselben Arbeitsspeicher. Das bedeutet, dass ein Mac mit 32 GB RAM diese 32 GB auch für die GPU nutzen kann. Bei einer klassischen Grafikkarte ist der VRAM separat und begrenzt.