Ollama Modelle verwalten

Einleitung

Nach der Installation von Ollama geht es darum, Modelle herunterzuladen, zu organisieren und bei Bedarf eigene Varianten zu definieren. Die Verwaltung ist über die Kommandozeile schnell erledigt. Dieser Artikel zeigt die wichtigsten Befehle und wie Du eigene Modellfiles erstellst.

Ollama Modelle verwalten - In A Nutshell

Ollama speichert alle Modelle lokal unter ~/.ollama/models. Mit dem Befehl ollama pull name lädst Du ein Modell herunter. Mit ollama list siehst Du installierte Modelle. Mit ollama rm name entfernst Du sie. Wer ein Modell mit individuellem Systemprompt oder Temperatur nutzen will, erstellt ein eigenes Modelfile.

Wichtige Begriffe und Komponenten

Begriff	Bedeutung
pull	Lädt ein Modell aus der Ollama-Bibliothek herunter
list	Zeigt alle lokal installierten Modelle
rm	Löscht ein Modell vom lokalen System
run	Startet ein Modell für den Chat
Modelfile	Datei, die Quantisierung, Systemprompt und Parameter festlegt

Praxisrelevanz

Wann muss man Modelle verwalten?

Sobald Du mehrere Modelle nutzt, wächst der Speicherbedarf. Manche Modelle werden nur einmal getestet und dann nicht mehr benötigt. Andere willst Du mit angepassten Systemprompts bereitstellen, etwa für Kundenservice, Programmierung oder kreative Texte. Die Verwaltung hilft, Ordnung zu halten und Speicher freizugeben.

Wichtige Befehle im Überblick

# Modell herunterladen
ollama pull llama3

# Alle lokalen Modelle anzeigen
ollama list

# Modell starten
ollama run llama3

# Aktuell laufende Prozesse anzeigen
ollama ps

# Modell löschen
ollama rm llama3

Der Befehl ollama ps ist besonders nützlich, um zu sehen, welche Modelle gerade im Speicher gehalten werden und Arbeitsspeicher belegen.

Ein eigenes Modell definieren

Ein Modelfile legt Parameter wie Temperatur, Systemprompt und Quantisierung fest. Ein einfaches Beispiel:

FROM llama3

SYSTEM "Du bist ein hilfreicher Assistent für deutsche Nutzer. Antworte präzise und auf Deutsch."

PARAMETER temperature 0.7

Speichere das als MeinModell und erstelle das Modell mit:

ollama create meinmodell -f MeinModell

Danach startest Du es mit ollama run meinmodell.

Hardware-, Kosten- und Sicherheitsbetrachtung

Jedes heruntergeladene Modell belegt Speicherplatz. Bei vielen Modellen kann das schnell einige Dutzend Gigabyte werden. Regelmäßiges Aufräumen mit ollama rm hilft, Platz zu sparen. Kosten entstehen nicht, da Ollama und die meisten Open-Source-Modelle kostenlos sind. Sicherheitstechnisch bleiben alle Modelle und Konfigurationen lokal.

Weitere KI Infos und Themen

• ollama pull lädt Modelle, ollama rm entfernt sie.
• ollama list zeigt installierte Modelle, ollama ps die aktuell laufenden.
• Modelfiles ermöglichen eigene Konfigurationen mit Systemprompt und Parametern.
• Regelmäßiges Löschen nicht benötigter Modelle spart Speicherplatz.

Mehr zur Installation findest Du in Ollama installieren und zur API in Ollama API nutzen.

FAQ - Typische Fragen zur Modellverwaltung

Kann ich mehrere Versionen eines Modells haben?

Ja. Jede Version belegt eigenen Speicherplatz. Du kannst sie mit individuellen Modellfiles erzeugen.

Wo liegen die Modelle auf der Festplatte?

Standardmäßig unter ~/.ollama/models bei Linux und macOS oder im Ollama-Benutzerverzeichnis unter Windows.

Wie viel Speicher belegt ein Modell?

Ein quantisiertes 7B-Modell etwa 4 bis 5 GB, ein 13B-Modell etwa 8 bis 9 GB, je nach Quantisierungsstufe.

Kann ich Modellfiles aus GGUF-Dateien erstellen?

Ja. Verwende FROM ./pfad/zum/modell.gguf im Modelfile und importiere die Datei mit ollama create.

Tools und Weiterführendes

Neben der Ollama CLI eignen sich grafische Tools wie Open WebUI oder LM Studio, um Modelle übersichtlich zu verwalten. Für automatisierte Workflows sind die CLI-Befehle und die API praktisch.

Quellen

• Ollama Modellverwaltung
• Ollama Modelfile-Referenz