Modell finden
Einleitung
Es gibt Hunderte von Sprachmodellen. Für den lokalen Betrieb brauchst Du eines, das auf Deiner Hardware läuft und Deine Aufgabe gut erledigt. Dieser Artikel zeigt, wo Du Modelle findest, welche Kriterien wichtig sind und woran Du erkennst, ob ein Modell für Dich passt.
Modell finden - In A Nutshell
Ein passendes Modell ist klein genug für Deine Hardware und gut genug für Deine Aufgabe. Für den Einstieg eignen sich Modelle wie Llama 3, Qwen 2 oder Mistral in 7B oder 8B. Quantisierung macht sie kleiner, ohne zu viel Qualität zu verlieren. Die wichtigsten Quellen sind die Ollama-Bibliothek, Hugging Face und die TheBloke-Modellvarianten.
Wichtige Begriffe und Komponenten
| Begriff | Bedeutung |
|---|---|
| Parameter | Größe des Modells, typisch in Milliarden angegeben |
| GGUF | Containerformat für quantisierte Modelle |
| Quantisierung | Reduktion der Modellgenauigkeit zur Speicherersparnis |
| Ollama Library | Offizielle Sammlung von Ollama-kompatiblen Modellen |
| Hugging Face | Plattform für KI-Modelle, Daten und Tools |
Praxisrelevanz
Warum ist die Auswahl wichtig?
Ein zu großes Modell läuft nicht auf Deiner Hardware. Ein zu kleines Modell liefert möglicherweise schlechte Antworten. Ein Coding-Modell schreibt besseren Code, ein Textmodell spricht besser Deutsch. Die Wahl des Modells ist damit der wichtigste Schritt nach der Installation.
Was beeinflusst die Wahl?
Hauptfaktoren sind Modellgröße, Quantisierung, Trainingsdaten, Fähigkeiten und Lizenz. Für den Einstieg spielen vor allem die ersten beiden eine Rolle. Wer mehr Hardware hat, kann größere oder höher quantisierte Modelle nutzen.
Beliebte Einstiegsmodelle
| Modell | Größe | Eignung | Besonderheit |
|---|---|---|---|
| Llama 3 | 8B, 70B | Text, Code, Chat | Starke allgemeine Leistung |
| Qwen 2 | 7B, 72B | Code, Logik, Multilingual | Sehr gute Codierung |
| Mistral | 7B, 8x7B | Text, Reasoning | Effizient und schnell |
| Phi 3 | 4B, 14B | Einstieg, Ressourcensparend | Kleine Modelle mit guter Leistung |
| DeepSeek | 7B, 67B | Coding, Reasoning | Offene, leistungsstarke Varianten |
Wo finde ich Modelle?
Die drei wichtigsten Quellen für lokale Modelle sind:
Ollama Library
Die einfachste Quelle. Du siehst unter ollama.com/library welche Modelle verfügbar sind und startest sie mit ollama run modellname.
Hugging Face Die größte Modellplattform. Dort findest Du Originalmodelle, quantisierte Varianten und Spezialmodelle. Für den lokalen Betrieb suchst Du meist nach GGUF-Dateien.
TheBloke Eine bekannte Quelle für vorgefertigte GGUF-Quantisierungen populärer Modelle. Besonders hilfreich, wenn Ollama ein Modell noch nicht selbst anbietet.
Entscheidungshilfe
Stelle Dir vor dem Download drei Fragen:
- Was willst Du machen? Chatten, Code schreiben, Dokumente analysieren oder Bilder verstehen?
- Wie viel Speicher hast Du? Mindestens 8 GB VRAM eröffnen viele 7B-Modelle.
- Welche Sprache brauchst Du? Nicht alle Modelle sind gleich gut auf Deutsch trainiert.
Wenn Du unsicher bist, starte mit Llama 3 8B in Q4_K_M. Es ist ein robuster Allrounder für Text und Code.
Hardware-, Kosten- und Sicherheitsbetrachtung
Die meisten Open-Source-Modelle sind kostenlos. Lizenzen unterscheiden sich, vor allem bei kommerzieller Nutzung. Achte auf die Lizenzangabe. Sicherheitstechnisch ist der große Vorteil lokaler Modelle, dass Deine Daten nicht an den Modellanbieter gehen. Dennoch solltest Du bei empfindlichen Daten prüfen, ob das Modell lokal bleibt und keine Telemetrie aktiviert ist.
Weitere KI Infos und Themen
- Starte mit Ollama Library, wenn Du schnell loslegen willst.
- Für Spezialfälle nutze Hugging Face und GGUF-Dateien.
- Q4_K_M ist ein guter Kompromiss aus Speicherbedarf und Qualität.
- Die Modellgröße ist der wichtigste Hebel für Performance und Qualität.
Mehr zu Quantisierung findest Du im Artikel Quantisierung und zu RAM und VRAM in RAM und VRAM Anforderungen.
FAQ - Typische Fragen zum Modell finden
Ist ein größeres Modell immer besser?
Nicht zwingend. Größere Modelle sind oft besser, aber langsamer und speicherhungriger. Für viele Aufgaben reicht ein 7B- oder 8B-Modell in guter Quantisierung.
Was ist ein gutes erstes Modell?
Llama 3 8B, Qwen 2 7B oder Mistral 7B sind starke Allrounder und laufen auf vielen Consumer-Systemen.
Kann ich Modelle von Hugging Face in Ollama nutzen?
Ja, wenn sie im GGUF-Format vorliegen. Ollama kann eigene Modellfiles erstellen, die auf GGUF-Dateien verweisen.
Sind alle Modelle kostenlos?
Die meisten Open-Source-Modelle sind kostenlos nutzbar. Bei kommerzieller Nutzung prüfe die jeweilige Lizenz.
Wo finde ich Modelle für spezielle Sprachen?
Hugging Face und Ollama Library filtern nach Sprachen oder Regionen. Multilinguale Modelle wie Qwen oder Llama 3 sind meist gute Kandidaten.
Tools und Weiterführendes
Neben Ollama und Hugging Face helfen Modellvergleiche, Leaderboards und Benchmarks. Ein guter Startpunkt ist die Ollama-Bibliothek, denn sie bietet sofort ausführbare Modelle.
Quellen
- Ollama Modellbibliothek
- Hugging Face Modellkatalog
- TheBloke GGUF-Modelle