AnythingLLM mit Ollama per Docker Compose

Was dieser Artikel behandelt

• Wie Du AnythingLLM und Ollama mit Docker Compose startest.
• Wie eine passende Compose-Datei aussieht.
• Welche Volumes und Umgebungsvariablen wichtig sind.
• Wie Du die Oberfläche aufrufst und Dein erstes Modell verbindest.

Einleitung: AnythingLLM mit Ollama per Docker Compose

AnythingLLM ist eine benutzerfreundliche Oberfläche, um mit eigenen Dokumenten zu chatten. Ollama liefert das lokale Sprachmodell. Beide zusammen bilden ein vollständiges RAG-System, ohne dass Du selbst programmieren musst. Mit Docker Compose lassen sich beide Dienste in einer einzigen Datei verwalten und mit einem Befehl starten.

Diese Anleitung zeigt Dir eine minimale Compose-Datei, die in wenigen Minuten läuft. Sie ist ideal, wenn Du schnell testen möchtest, ob AnythingLLM für Deine PDFs und Dokumente passt.

Warum brauche ich Docker Compose?

Ohne Docker Compose musst Du jeden Container einzeln starten und die Verbindung manuell konfigurieren. Compose packt beide Dienste zusammen und stellt sicher, dass sie miteinander kommunizieren können. So sparst Du Zeit und reduzierst Fehler. Auch das spätere Stoppen, Aktualisieren und Sichern wird einfacher.

Voraussetzungen

• Docker und Docker Compose sind installiert.
• Mindestens 8 GB RAM, besser 16 GB.
• Ein Rechner mit Linux, Windows mit WSL2 oder macOS.
• Einen Ordner, in dem die Compose-Datei und die Volumes liegen.

Compose-Datei für AnythingLLM und Ollama

Erstelle eine Datei mit dem Namen docker-compose.yml:

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    volumes:
      - ollama_data:/root/.ollama
    ports:
      - "11434:11434"
    restart: unless-stopped

  anythingllm:
    image: mintplexlabs/anythingllm:latest
    container_name: anythingllm
    ports:
      - "3001:3001"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    volumes:
      - anythingllm_data:/app/server/storage
    depends_on:
      - ollama
    restart: unless-stopped

volumes:
  ollama_data:
  anythingllm_data:

Speichere die Datei und führe im gleichen Ordner folgenden Befehl aus:

docker compose up -d

Der Befehl lädt die Images, erstellt die Volumes und startet beide Container. Nach kurzer Zeit ist AnythingLLM unter http://localhost:3001 erreichbar.

Wichtige Begriffe rund um Docker Compose

• Service: Ein Container, der in der Compose-Datei definiert ist.
• Volume: Persistenter Speicher, der auch nach einem Container-Neustart erhalten bleibt.
• Port-Mapping: Verbindet Container-Ports mit Ports des Hosts.
• depends_on: Stellt sicher, dass Ollama vor AnythingLLM startet.
• OLLAMA_BASE_URL: Teilt AnythingLLM mit, wo Ollama erreichbar ist.

Erstes Modell laden

Nach dem Start lädst Du ein Modell in Ollama:

docker exec -it ollama ollama pull llama3.1

Danach rufst Du http://localhost:3001 auf und wählst in AnythingLLM Ollama als Provider aus. Das Modell erscheint automatisch.

Für wen ist diese Anleitung gedacht?

• Für Einsteiger, die schnell ein lokales RAG-System testen wollen.
• Für Teams, die ein gemeinsames Wissensmanagement aufsetzen möchten.
• Für alle, die Docker bevorzugen und keine Software installieren wollen.

Typische Stolpersteine

• Nicht genug RAM: Große Modelle brauchen viel Arbeitsspeicher. Kleinere Modelle wie llama3.2 oder phi4-mini eignen sich für erste Tests.
• Port 3001 belegt: Ändere den Port im ports-Eintrag, falls nötig.
• Ollama nicht erreichbar: Prüfe, ob der Container läuft und OLLAMA_BASE_URL korrekt ist.
• Datenverlust: Ohne Volumes gehen alle Dokumente und Modelle beim Neustart verloren.

Weiterführende Links und Infos

• AnythingLLM bei BotServ.de
• Ollama bei BotServ.de
• Docker Grundlagen
• AnythingLLM Dokumentation

FAQ: AnythingLLM mit Ollama per Docker Compose

Brauche ich eine GPU? Nein, aber empfohlen. Auf der CPU laufen kleine Modelle, jedoch langsamer.

Kann ich mehrere Modelle nutzen? Ja. Lade mehrere Modelle mit ollama pull und wähle sie in AnythingLLM aus.

Wo liegen meine Daten? In den Docker-Volumes ollama_data und anythingllm_data.

Wie stoppe ich alles? Mit docker compose down. Mit docker compose down -v löschst Du auch die Volumes.

Funktioniert das auf Windows? Ja, mit WSL2 und Docker Desktop.

Quellen und weiterführende Literatur

• Ollama Docker Image: https://hub.docker.com/r/ollama/ollama
• AnythingLLM Docker Image: https://hub.docker.com/r/mintplexlabs/anythingllm
• Docker Compose: https://docs.docker.com/compose/