Lokale KI Modelle
Was dieser Artikel behandelt
- Wie man ein passendes Modell für lokale KI findet.
- Welche Kriterien bei der Auswahl wichtig sind.
- Verweise auf den Modell-Artikel.
Einleitung
Nicht jedes Modell eignet sich für den lokalen Einsatz. Größe, Quantisierung und Lizenz spielen eine Rolle. Dieser Bereich bündelt Wissen, das bei der Auswahl eines lokalen LLM hilft.
Inhalt
- Modell finden - Kriterien und Quellen für geeignete lokale Modelle.
- Llama Modelle - Metas Open-Source-Serie: Llama 3.1, 3.2, 3.3.
- Mistral Modelle - Europas Alternative: Mistral 7B, Mixtral MoE.
- Qwen Modelle - Alibabas Multilingual-Serie mit Coding-Stärke.
- Phi Modelle - Microsofts kompakte SLMs für Edge-Deployment.
- DeepSeek Modelle - Reasoning und Coding mit R1-Distills.
- Gemma Modelle - Googles leichtgewichtige Modelle.
- KI-Benchmarks - MMLU, HumanEval, GSM8K und Modell-Vergleiche.
- Quantisierungs-Vergleich - Q4 vs Q5 vs Q8 in der Praxis.
Wichtige Kriterien
| Kriterium | Bedeutung |
|---|---|
| Modellgröße | Bestimmt RAM- oder VRAM-Bedarf |
| Quantisierung | Reduziert Größe, beeinflusst Qualität |
| Lizenz | Regelt kommerzielle Nutzung |
| Aufgabe | Coding, Chat, Reasoning oder mehrsprachig |
FAQ - Häufige Fragen
Welche Modellgröße brauche ich?
Für Text-Aufgaben reichen oft 7B- bis 13B-Parameter-Modelle. Für komplexe Coding- oder Reasoning-Aufgaben sind 13B bis 70B besser.
Woher bekomme ich Modelle?
Ollama, Hugging Face, LM Studio und Modelle von Kaggle oder GitHub sind gängige Quellen.