Ollama-Modell-Vergleich

Was dieser Artikel über Modell-Vergleich behandelt

• Welche Kriterien für einen Vergleich wichtig sind.
• Wie man schnelle und langsame Aspekte bewertet.
• Benchmark-Methoden.
• Praktische Vergleichsabläufe.
• Tipps für aussagekräftige Ergebnisse.

Einleitung: Ollama-Modell-Vergleich

Die Ollama-Bibliothek wächst ständig. Modelle unterscheiden sich in Grösse, Geschwindigkeit, Fähigkeiten und Hardwarebedarf. Wer das passende Modell für einen Anwendungsfall sucht, sollte nicht nur auf Benchmark-Werte vertrauen, sondern eigene Tests durchführen. Ein systematischer Vergleich hilft, das beste Modell für die eigene Hardware und den konkreten Anwendungsfall zu finden.

Dieser Artikel zeigt, wie man Ollama-Modelle vergleicht.

Wichtige Begriffe

• Benchmark: Standardisierter Test.
• Latency: Zeit bis zur ersten Antwort.
• Throughput: Tokens pro Sekunde.
• Accuracy: Korrektheit der Antworten.
• Hallucination: Erfundene Informationen.
• Quant: Quantisierungsvariante.
• Task-Specific: Spezialisierte Aufgabe.
• Gold-Standard: Referenzantwort.

Vergleichskriterien

Kriterium	Bedeutung
Geschwindigkeit	Tokens pro Sekunde, Startzeit
Qualität	Korrektheit, Vollständigkeit
VRAM-Bedarf	Speicheranforderungen
Kontext	Maximale Token-Länge
Sprache	Deutscb, Englisch, Multilingual
Spezialisierung	Coding, Chat, Vision, Reasoning
Lizenz	Kommerzielle Nutzung

Vorgehen

1. Anwendungsfall definieren.
2. Kandidaten auswählen.
3. Testaufgaben erstellen.
4. Jeden Kandidaten gleich bewerten.
5. Geschwindigkeit messen.
6. Qualität bewerten.
7. VRAM- und RAM-Bedarf dokumentieren.
8. Besten Kompromiss wählen.

Geschwindigkeit messen

ollama run llama3.1:8b --verbose

Oder mit einem Skript:

import time, requests

for model in ["llama3.1:8b", "qwen2.5:7b"]:
    start = time.time()
    response = requests.post("http://localhost:11434/api/generate", json={
        "model": model,
        "prompt": "Erkläre Docker.",
        "stream": False
    })
    duration = time.time() - start
    eval_count = response.json().get("eval_count", 0)
    print(f"{model}: {eval_count/duration:.2f} tokens/s")

Qualität testen

Vorbereitete Fragen mit bekannten Antworten:

• Zusammenfassung.
• Übersetzung.
• Rechnen.
• Faktenabfrage.
• Coding-Aufgabe.
• Logikrätsel.

Jede Antwort wird gegen ein Gold-Standard oder manuelle Bewertung geprüft.

Prompt identisch halten

ollama run llama3.1:8b "Fasse Docker in drei Sätzen zusammen."
ollama run qwen2.5:7b "Fasse Docker in drei Sätzen zusammen."

Parameternormalisierung

Gleiche temperature, num_predict und num_ctx für alle Kandidaten:

{
  "options": {
    "temperature": 0.1,
    "num_predict": 200,
    "num_ctx": 4096
  }
}

Tipps

• Mehrere Durchläufe je Modell.
• Prompts identisch halten.
• Modelle nach Anwendungsfall bewerten.
• Auf Halluzinationen achten.
• Quantisierung pro Modell notieren.
• Keine einzelne Antwort überbewerten.
• Bias vermeiden.

Werkzeuge

• ollama-befehle.
• curl und jq.
• Python-Skripte.
• vram-rechner.
• MTEB für Embeddings.
• LMSYS Chatbot Arena als Referenz.

Praktischer Vergleich statt nur Benchmark-Tabellen

Tabellen mit Benchmarks helfen beim Grobvergleich, sagen aber wenig über den Alltag. So testest Du Modelle sinnvoll:

# Drei Modelle auf dieselbe Aufgabe laufen lassen
for m in llama3.2:3b qwen2.5:7b mistral:7b; do
  echo "=== $m ==="
  ollama run "$m" "Fasse diesen Text in zwei Sätzen zusammen: <Dein Beispiel>" --nowordwrap
done

• Teste mit Deinen echten Texten: Ob ein Modell Deine Dokumente gut zusammenfasst, siehst Du nur am eigenen Material, nicht am MMLU-Score.
• Speed versus Qualität: Ein 3B-Modell ist oft schnell genug für Chat und Zusammenfassungen. Für Coding oder komplexes Reasoning zahlt sich ein 7B- oder 14B-Modell aus.
• VRAM als Limit: ollama ps zeigt die tatsächliche Speicherbelegung. Wer die GPU voll hat, merkt es an plötzlich langsamen Antworten, nicht an einem Fehler.

Weiterführende Links und Infos

• BotServ.de Ollama Modell-Benchmarks
• BotServ.de Ollama Modell-Empfehlungen
• BotServ.de Ollama Modell-Galerie
• BotServ.de Tools Modell-Finder

FAQ: Ollama-Modell-Vergleich

Wie viele Modelle sollte ich testen? 2-5 passende Kandidaten reichen meist.

Welches ist das objektiv beste Modell? Es gibt keines. Es kommt auf Anwendung und Hardware an.

Brauche ich Benchmarks? Ja, aber eigene Aufgaben sind oft aussagekräftiger.

Wie vergleiche ich Geschwindigkeit? Tokens pro Sekunde bei gleichem Prompt messen.

Soll ich verschiedene Quantisierungen testen? Ja, Q4 vs. Q5 kann grosse Unterschiede in Qualität und Geschwindigkeit bringen.

Quellen und weiterführende Literatur

• LMSYS Arena: https://chat.lmsys.org/
• MTEB: https://huggingface.co/spaces/mteb/leaderboard
• Ollama Library: https://ollama.com/library

Zusammenfassung: Ollama-Modell-Vergleich

Ein guter Modell-Vergleich berücksichtigt Geschwindigkeit, Qualität, VRAM-Bedarf, Kontextlänge und Spezialisierung. Identische Prompts und Parameter sind entscheidend. Benchmarks helfen, eigene Anwendungstests geben aber die realistischsten Ergebnisse. Wer 2-5 passende Kandidaten auf eigenen Aufgaben testet, findet den besten Kompromiss für seine Hardware und sein Projekt.