Ollama in Open WebUI verwalten

Was dieser Artikel über Ollama in Open WebUI behandelt

• Wie Open WebUI mit Ollama verbunden wird.
• Wie man Modelle lädt, deaktiviert und priorisiert.
• Wie man System-Prompts, Parameter und Modellauswahl nutzt.
• Wie mehrere Ollama-Instanzen eingebunden werden.
• Typische Stolpersteine und Best Practices.

Einleitung: Ollama in Open WebUI verwalten

Open WebUI ist eine benutzerfreundliche Oberfläche für den Chat mit lokalen Sprachmodellen. Ollama liefert die Modelle und die API. Wer beides verbindet, bekommt eine einfache Weboberfläche für den Zugriff auf alle lokalen Modelle, ohne auf der Kommandozeile arbeiten zu müssen.

Die Verwaltung von Ollama in Open WebUI ist einfach, sobald die Verbindung steht. In diesem Artikel zeigen wir, wie man Modelle hinzufügt, Einstellungen anpasst und typische Probleme löst.

Voraussetzungen

• Ollama ist installiert und läuft.
• Open WebUI ist installiert, zum Beispiel mit Docker.
• Beide Dienste können sich gegenseitig erreichen.

Verbindung einrichten

Open WebUI erkennt Ollama automatisch, wenn es auf dem gleichen Host läuft. Standardmäßig erwartet es Ollama unter:

http://host.docker.internal:11434

Falls Ollama außerhalb von Docker läuft, setze die Umgebungsvariable in Open WebUI:

-e OLLAMA_BASE_URL=http://host.docker.internal:11434

Bei einer separaten Ollama-Instanz gib die IP oder den Hostnamen an:

-e OLLAMA_BASE_URL=http://192.168.1.50:11434

Modelle herunterladen

In Open WebUI kannst Du Modelle direkt aus der Oberfläche laden:

1. Einstellungen öffnen.
2. Auf Models oder Admin Settings gehen.
3. Pull a model from Ollama.com auswählen.
4. Modellname eingeben, zum Beispiel llama3.1:8b.
5. Download starten.

Alternativ im Terminal:

ollama pull llama3.1:8b
ollama pull mistral
ollama pull qwen2.5:14b

Sobald das Modell lokal verfügbar ist, erscheint es in Open WebUI.

Modellauswahl im Chat

Im Chat-Fenster kannst Du oben das gewünschte Modell auswählen. Open WebUI zeigt alle lokal verfügbaren Ollama-Modelle an. Du kannst während eines Chats auch das Modell wechseln, beachte aber, dass der bisherige Kontext nicht automatisch übernommen wird.

System-Prompts und Parameter

Für jedes Modell lassen sich in Open WebUI Einstellungen anpassen:

• System Prompt: Verhaltensanweisung für das Modell.
• Temperature: Kreativität vs. Determiniertheit.
• Top P: Sampling-Diversität.
• Max Tokens: Maximale Antwortlänge.
• Context Length: Genutzte Kontextlänge.

Diese Einstellungen können global, pro Modell oder pro Chat festgelegt werden.

Mehrere Ollama-Instanzen

Wenn Du mehrere Ollama-Server hast, kann Open WebUI über entsprechende Konfigurationen oder einen Reverse-Proxy mit mehreren Backends arbeiten. Für den Standardfall reicht aber eine zentrale Ollama-Instanz.

Modellpriorisierung und Sichtbarkeit

Administratoren können in Open WebUI steuern, welche Modelle für Benutzer sichtbar sind. Das ist nützlich, wenn:

• Nur bestimmte Modelle erlaubt sein sollen.
• Große Modelle nur für Admins verfügbar sein sollen.
• Testmodelle vor der Freigabe verborgen werden sollen.

API-Keys und externe Provider

Open WebUI kann neben Ollama auch externe Provider wie OpenAI, Anthropic oder OpenRouter nutzen. Dafür hinterlegst Du API-Keys in den Einstellungen. Lokal bleibt Ollama aber der Standard ohne Kosten pro Anfrage.

Modelle aktualisieren und löschen

Neuere Tags lassen sich über Ollama aktualisieren:

ollama pull llama3.1:8b

Ein Modell entfernst Du mit:

ollama rm llama3.1:8b

In Open WebUI werden gelöschte Modelle nach einem Refresh nicht mehr angezeigt.

Typische Stolpersteine

• Verbindung zu Ollama fehlt: Prüfe OLLAMA_BASE_URL und Erreichbarkeit.
• Modell nicht sichtbar: Ollama muss das Modell geladen haben; Refresh in Open WebUI.
• Zu wenig Speicher: Modell wird nicht geladen, Ollama bricht ab.
• Falsche Modellgrösse: llama3.1 ohne Tag lädt standardmäßig latest, oft 70B.
• Netzwerk-Probleme: Container-Nameauflösung prüfen.

Weiterführende Links und Infos

• BotServ.de Open WebUI Funktionen
• BotServ.de Open WebUI RAG einrichten
• BotServ.de Open WebUI Tools
• BotServ.de Mehrere Benutzer in Open WebUI

FAQ: Ollama in Open WebUI

Wie verbinde ich Open WebUI mit Ollama? Meist automatisch, falls beides auf demselben Host läuft. Ansonsten OLLAMA_BASE_URL setzen.

Kann ich Modelle direkt in Open WebUI herunterladen? Ja, über den Admin-Bereich oder ollama pull im Terminal.

Wie viele Modelle kann ich gleichzeitig nutzen? Soviele, wie in den Arbeitsspeicher passen. Jeder Chat lädt das gewählte Modell.

Brauche ich API-Keys? Nur, wenn Du externe Provider zusätzlich zu Ollama nutzen möchtest.

Was passiert bei zu wenig RAM? Das Modell wird nicht geladen oder läuft sehr langsam. In diesem Fall kleinere Modelle oder Quantisierung wählen.

Quellen und weiterführende Literatur

• Open WebUI Docs: https://docs.openwebui.com/
• Ollama Docs: https://github.com/ollama/ollama/blob/main/docs/
• Open WebUI GitHub: https://github.com/open-webui/open-webui

Zusammenfassung: Ollama in Open WebUI verwalten

Open WebUI ist eine komfortable Oberfläche für Ollama-Modelle. Nach dem Verbinden über OLLAMA_BASE_URL lassen sich Modelle herunterladen, auswählen und mit individuellen Prompts und Parametern betreiben. Administratoren steuern Sichtbarkeit und Provider. Wer die Verbindung, den Speicher und die Modellgrössen im Blick behält, bekommt einen einfachen Zugang zu lokaler KI.