Lokale KI Software
Was dieser Artikel behandelt
- Welche Software lokale KI betreibt.
- Wofür Ollama genutzt wird.
- Verweise auf die Software-Artikel.
Einleitung
Lokale KI braucht eine passende Laufzeitumgebung. Ollama ist dabei eine der einfachsten Lösungen, um Modelle herunterzuladen, zu starten und über eine API anzusprechen. In diesem Bereich finden sich Anleitungen für den Umgang mit Ollama.
Inhalt
- Ollama Grundlagen - Installation, API und Modellverwaltung in der Ollama-Sektion.
- LM Studio - Grafische Oberfläche für lokale Modelle, kein Terminal nötig.
- Open WebUI - ChatGPT-ähnliche Oberfläche für Ollama mit RAG und Multi-User.
- llama.cpp - Die C++-Inferenz-Engine hinter Ollama und LM Studio.
- vLLM - Hochleistungs-Inferenz für Server und Produktion.
- KoboldCpp - Rollenspiel, Storytelling und kreative Texte lokal.
- AnythingLLM - RAG-Desktop-App: Dokumente chatten ohne Code.
- Jan - Offline-KI-Client für Desktop, einfach und datenschutzfreundlich.
Wichtige Themen
| Thema | Bedeutung |
|---|---|
| Installation | Ollama auf verschiedenen Systemen einrichten |
| API | Modell über HTTP-Requests ansprechen |
| Modellverwaltung | Modelle ziehen, listen und löschen |
FAQ - Häufige Fragen
Ist Ollama kostenlos?
Ja, Ollama ist Open Source und kostenlos. Kosten entstehen nur durch Strom und Hardware.
Gibt es Alternativen zu Ollama?
Ja, LM Studio, llama.cpp und vLLM sind gängige Alternativen.