RAG in Open WebUI einrichten

Was dieser Artikel über RAG in Open WebUI behandelt

• Wie RAG in Open WebUI funktioniert.
• Wie Dokumente hochgeladen und indiziert werden.
• Wie die Vektordatenbank konfiguriert wird.
• Wie man chatbasiert auf eigene Dokumente zugreift.
• Einstellungen, Optimierung und typische Stolpersteine.

Einleitung: RAG in Open WebUI einrichten

Open WebUI bietet eine einfache Möglichkeit, RAG lokal zu nutzen. Nutzer können Dokumente hochladen, die WebUI erzeugt Embeddings und speichert sie in einer Vektordatenbank. Beim Chat holt Open WebUI passende Textstellen und fügt sie in den Prompt ein. So beantwortet das Modell Fragen anhand der eigenen Dokumente.

RAG in Open WebUI ist besonders für Einsteiger attraktiv. Man braucht keine Programmierkenntnisse, um erste Experimente zu machen. Für produktive Szenarien lohnt es sich, die Embedding-Modelle, Chunking-Parameter und Retrieval-Einstellungen zu verstehen und anzupassen.

Warum brauche ich RAG in Open WebUI?

Sprachmodelle wissen nur das, worauf sie trainiert wurden. Eigene Dokumente, interne Prozesse oder spezielle Daten fehlen. RAG schließt diese Lücke, indem es passende Textstellen zum Prompt hinzufügt. Damit kann das Modell:

• Fragen zu Verträgen beantworten,
• Handbücher erklären,
• Protokolle zusammenfassen,
• auf aktuelle Dokumente Bezug nehmen,
• Quellenangaben liefern.

RAG in Open WebUI kurz erklärt

Der Ablauf:

1. Dokument hochladen: PDF, TXT, Markdown oder DOCX.
2. Vorbereitung: Open WebUI extrahiert Text.
3. Chunking: Text wird in Abschnitte geteilt.
4. Embedding: Ein Embedding-Modell erzeugt Vektoren.
5. Speicherung: Vektoren landen in der Vektordatenbank.
6. Abfrage: Beim Chat werden passende Chunks gesucht.
7. Antwort: Modell beantwortet Frage mit Kontext.

Wichtige Begriffe:

• Knowledge: In Open WebUI eine Sammlung hochgeladener Dokumente.
• RAG Template: Prompt, der den Kontext einbettet.
• Chunk Size: Größe der Textabschnitte.
• Chunk Overlap: Überlappung zwischen Chunks.
• Top-K: Anzahl der zurückgegebenen ähnlichsten Chunks.
• Embedding-Modell: Modell für Vektoren.

Für wen ist RAG in Open WebUI gedacht?

• Für Einsteiger, die RAG ohne Code testen wollen.
• Für Teams, die schnell eine Dokumenten-KI brauchen.
• Für kleine Unternehmen mit begrenztem Budget.
• Für Support-Teams mit FAQs.
• Für alle, die lokal bleiben wollen.

Wichtige Begriffe rund um RAG in Open WebUI

• Ollama: Backend für Modelle und Embeddings.
• Chroma: Standard-Vektordatenbank in Open WebUI.
• BGE: Beliebte Embedding-Modellfamilie.
• nomic-embed-text: Gutes Open-Source-Embedding.
• Query Expansion: Suche erweitern.
• Reranking: Treffer nachträglich bewerten.

Schritt-für-Schritt: RAG einrichten

1. Open WebUI starten

Open WebUI muss laufen und mit Ollama verbunden sein. Siehe BotServ.de Open WebUI.

2. Dokument hochladen

In der Chat-Oberfläche kann man Dokumente über das Papierclip-Symbol oder im Knowledge-Bereich hochladen. Unterstützt werden PDF, TXT, Markdown und andere Formate.

3. Knowledge Collection anlegen

Unter Admin > Knowledge kann man Sammlungen erstellen. Dokumente werden einer Sammlung zugeordnet. Man kann Sammlungen für Teams, Themen oder Projekte anlegen.

4. Embedding-Modell wählen

In den Einstellungen lässt sich das Embedding-Modell auswählen. Für Deutsch eignen sich bge-m3 oder nomic-embed-text. Das Modell wird über Ollama geladen.

5. Chat mit Dokumenten

Im Chat wählt man die Knowledge-Sammlung. Fragen werden nun auf Basis der Dokumente beantwortet. Quellen werden in der Regel angezeigt.

Wichtige Einstellungen

• Chunk Size: Standard 1000 bis 1500 Zeichen. Je nach Dokument anpassen.
• Chunk Overlap: Standard 50 bis 200 Zeichen. Verhindert Kontextverlust an Schnitten.
• Top-K: Mehr Chunks bringen mehr Kontext, können aber den Prompt überladen.
• RAG Template: Steuert, wie der Kontext in den Prompt eingebunden wird.
• Citations: Quellenangaben aktivieren.

Typische Stolpersteine

• Falsches Embedding-Modell: Englische Modelle funktionieren für Deutsch schlecht.
• Zu große Chunks: Langsame Antworten und verlorene Details.
• Zu kleine Chunks: Kontext geht verloren.
• Veraltete Dokumente: Hochgeladene Dateien müssen aktualisiert werden.
• Keine Quellenangaben: Einstellung prüfen.
• Ollama nicht erreichbar: Embedding-Modell kann nicht geladen werden.

Weiterführende Links und Infos

• BotServ.de Open WebUI
• BotServ.de Embedding-Modelle
• BotServ.de Lokales RAG
• BotServ.de Dokumente und PDF
• Open WebUI Docs

FAQ: RAG in Open WebUI

Welche Dateiformate unterstützt Open WebUI? PDF, TXT, Markdown, DOCX und andere gängige Textformate.

Kann ich mehrere Dokumente gleichzeitig hochladen? Ja, über Knowledge Collections oder Drag-and-Drop im Chat.

Wie groß dürfen Dokumente sein? Je nach Speicher und Embedding-Modell. Große Dateien werden automatisch in Chunks geteilt.

Wo liegen die Embeddings? Lokal in Open WebUI, standardmäßig in Chroma.

Kann ich RAG für bestimmte Nutzer einschränken? Ja, über Knowledge Collections und Berechtigungen.

Quellen und weiterführende Literatur

• Open WebUI: https://openwebui.com/
• Open WebUI Docs: https://docs.openwebui.com/
• BGE: https://huggingface.co/BAAI

Zusammenfassung: RAG in Open WebUI einrichten

Open WebUI macht RAG für Einsteiger zugänglich. Dokumente hochladen, Embedding-Modell wählen und Knowledge Collection anlegen genügt, um fragebasiert auf eigene Inhalte zuzugreifen. Wichtig sind gute Embedding-Modelle, passendes Chunking, Quellenangaben und regelmäßige Pflege der Dokumente. Für produktive Szenarien lohnt sich die Feinabstimmung der RAG-Parameter.