GPU-Monitoring für lokale KI

Was dieser Artikel über GPU-Monitoring behandelt

• Warum GPU-Monitoring bei lokaler KI wichtig ist.
• Welche Metriken man beobachten sollte.
• Welche Tools für NVIDIA, AMD und Intel verfügbar sind.
• Wie man Auslastung, VRAM, Temperatur und Stromverbrauch erfasst.
• Dashboards, Alarme und typische Stolpersteine.

Einleitung: GPU-Monitoring für lokale KI

Lokale KI-Workloads belasten die Grafikkarte stark. Große Modelle füllen VRAM, Berechnungen heizen die GPU auf und langsame Antworten deuten oft auf Ressourcenengpässe hin. Wer GPU-Monitoring einrichtet, erkennt Engpässe früh, vermeidet Abstürze und kann gezielt aufrüsten oder optimieren.

GPU-Monitoring ist nicht nur für große Server interessant. Auch ein einzelner Mini-PC oder Workstation-Rechner profitiert davon, wenn man sieht, welche Modelle wie viel Speicher brauchen und wie sich Temperatur und Leistung über den Tag entwickeln.

Warum brauche ich GPU-Monitoring?

Ohne Monitoring läuft man blind:

• Man weiß nicht, ob das Modell auf der GPU oder CPU rechnet.
• VRAM-Engpässe führen zu Abstürzen.
• Hohe Temperaturen können die Hardware schädigen.
• Langsame Workflows lassen sich nicht erklären.
• Mehrbenutzer-Setups werden schwer planbar.

Mit Monitoring kann man:

• Modelle passend zur Hardware dimensionieren,
• Quantisierungsstufen wählen,
• Lüfter und Kühlung anpassen,
• Lastspitzen erkennen,
• Kosten und Energieverbrauch abschätzen.

Wichtige Metriken

• GPU-Auslastung: Wie viel Prozent der GPU berechnet gerade.
• VRAM-Nutzung: Belegter Videospeicher in GB.
• GPU-Temperatur: Wärmeentwicklung der Karte.
• Leistungsaufnahme: Stromverbrauch in Watt.
• Takt: GPU- und Speichertakt.
• Prozess-VRAM: Welcher Prozess wie viel Speicher belegt.
• Time-to-First-Token: Wie schnell die erste Antwort kommt.
• Tokens pro Sekunde: Generierungsgeschwindigkeit.

Tools für NVIDIA

nvidia-smi

Das Standardkommandozeilentool für NVIDIA-GPUs. Zeigt Auslastung, VRAM, Temperatur und Prozesse.

nvidia-smi
nvidia-smi dmon
nvidia-smi pmon

nvtop

Eine top-ähnliche Übersicht für GPUs. Besser lesbar als nvidia-smi und unterstützt auch AMD und Intel.

nvtop

Prometheus und Grafana

Für Langzeitmonitoring und Dashboards. Der NVIDIA Data Center GPU Manager oder Community-Exporter liefern Metriken.

Netdata

Einfache Agenten-basierte Monitoring-Lösung mit GPU-Metriken.

Tools für AMD

• radeontop: Zeigt AMD-GPU-Auslastung.
• **amdgpu-pro：**Proprietäre Tools und Treiber.
• ROCm-SMI: Ähnlich nvidia-smi für ROCm-Plattform.
• nvtop: Unterstützt AMD.

Tools für Intel

• intel-gpu-top: Auslastung von Intel-GPUs.
• xpu-smi: Für Intel Data Center GPUs.
• nvtop: Unterstützt Intel Arc und integrierte GPUs.

Metriken in Docker erfassen

Wenn Ollama oder vLLM in Containern läuft, muss man GPU-Metriken am Host oder im Container lesen. NVIDIA Container Toolkit macht nvidia-smi im Container verfügbar. Prometheus-Exporter laufen oft als separate Container.

Dashboards aufbauen

Ein gutes Dashboard zeigt:

• Aktuelle GPU-Auslastung und VRAM pro Karte.
• Historische Last und Temperatur über 24 Stunden.
• Prozesse mit GPU-Nutzung.
• Alarme bei zu hoher Temperatur oder vollem VRAM.
• Vergleich mehrerer GPUs.

Alarme und Schwellenwerte

Sinnvolle Grenzwerte:

• Temperatur: Alarm ab 80 Grad Celsius.
• VRAM: Warnung bei 85 Prozent, kritisch bei 95 Prozent.
• GPU-Auslastung: Langfristig 95-100 Prozent ist okay, aber Temperatur beachten.
• Prozesse: Unerwartete Prozesse mit hohem VRAM-Verbrauch.

Typische Stolpersteine

• Kein Monitoring im Container: GPU-Daten nicht im Container sichtbar.
• Nur kurzfristige Blicke: Spitzen und Trends werden übersehen.
• Falsche Sensoren: AMD und Intel brauchen andere Tools.
• Zu späte Alarme: Thresholds zu hoch oder falsch konfiguriert.
• Fehlende Prozesszuordnung: Man weiß nicht, welcher Dienst die GPU belastet.

Weiterführende Links und Infos

• BotServ.de Self-Hosting Monitoring
• BotServ.de VRAM-Rechner
• BotServ.de Lokale KI Hardware
• nvtop

FAQ: GPU-Monitoring

Welches Tool ist der beste Einstieg? Für NVIDIA ist nvidia-smi sofort verfügbar. nvtop ist übersichtlicher und plattformübergreifend.

Kann ich GPU-Metriken in Grafana anzeigen? Ja, mit Prometheus-Exportern für NVIDIA, AMD oder Intel.

Was bedeutet hohe GPU-Auslastung bei niedrigem VRAM? Das Modell ist klein genug für die GPU, aber die GPU rechnet intensiv.

Wie erkenne ich VRAM-Engpässe? VRAM-Nutzung nahe der Kapazität und langsame oder abgebrochene Generierung sind typische Anzeichen.

Sollte ich Temperatur oder Auslastung wichtiger finden? Beides. Hohe Auslastung bei akzeptabler Temperatur ist normal. Hohe Temperatur schadet der Hardware langfristig.

Quellen und weiterführende Literatur

• nvtop: https://github.com/Syllo/nvtop
• nvidia-smi docs: https://developer.nvidia.com/nvidia-management-library-nvml
• Netdata: https://www.netdata.cloud/

Zusammenfassung: GPU-Monitoring für lokale KI

GPU-Monitoring hilft, lokale KI-Workloads stabil und effizient zu betreiben. Wichtige Metriken sind GPU-Auslastung, VRAM, Temperatur und Takt. Tools wie nvidia-smi, nvtop, Prometheus und Grafana decken die meisten Szenarien ab. Bei Mehrbenutzer-Setups und dauerhaftem Betrieb sind Langzeitmonitoring und Alarme unverzichtbar. Wer seine GPU im Blick behält, wählt bessere Modelle, vermeidet Engpässe und schont die Hardware.