Ollama-API-Fehlerbehebung

Was dieser Artikel über Ollama-API-Fehler behandelt

• Häufige API-Fehler und ihre Ursachen.
• Wie man Logs liest.
• Wie man mit curl testet.
• Statuscodes und deren Bedeutung.
• Timeouts, Verbindungsprobleme und Modellfehler.

Einleitung: Ollama-API-Fehlerbehebung

Wer Ollama über die API nutzt, stösst früher oder später auf Fehler. Verbindungen schlagen fehl, Antworten brauchen zu lange oder das Modell meldet, dass es nicht geladen werden kann. Die Fehlermeldungen sind oft kurz und wenig aussagekräftig. Mit ein paar gezielten Prüfschritten lassen sich die meisten Probleme schnell eingrenzen und beheben.

Dieser Artikel sammelt typische Ollama-API-Fehler und zeigt Lösungswege.

Wichtige Begriffe

• HTTP-Statuscode: Antwortstatus der API.
• Timeout: Zeitüberschreitung bei Anfragen.
• Connection refused: Kein Dienst am Port erreichbar.
• CORS: Cross-Origin-Regeln für Webanfragen.
• Modell-Tag: Bezeichnung eines Modells mit Version.
• Stream: Antwort wird sukzessive ausgeliefert.
• Rate Limit: Begrenzung der Anfragen.
• Log: Protokolldatei des Ollama-Dienstes.

Erste Diagnose mit curl

curl http://localhost:11434/api/tags

Gibt es eine JSON-Liste, läuft Ollama und antwortet korrekt.

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1",
  "prompt": "Hallo",
  "stream": false
}'

Statuscodes

Code	Bedeutung	Lösung
200	Erfolgreich	Alles in Ordnung.
400	Bad Request	JSON oder Parameter prüfen.
404	Not Found	Modell nicht gefunden.
408	Timeout	Timeout erhöhen oder Modell prüfen.
500	Serverfehler	Ollama-Logs lesen.
502/503	Dienst nicht erreichbar	Ollama-Prozess prüfen.

Fehler: Modell nicht gefunden

{"error": "model 'llama3.1' not found"}

Lösung:

ollama pull llama3.1

Fehler: Verbindung abgelehnt

curl: (7) Failed to connect to localhost port 11434

Ursachen:

• Ollama läuft nicht.
• Falsche Host-Adresse.
• Firewall blockiert Port.
• Ollama ist an einem anderen Port gebunden.

Lösung:

sudo systemctl status ollama
ollama serve

Fehler: Zeitüberschreitung

curl: (28) Operation timed out

Ursachen:

• Prompt zu gross.
• Modell zu gross für Hardware.
• GPU nicht erkannt.
• Kontext zu lang.

Lösungen:

• Timeout erhöhen:

curl --max-time 300 ...

• Kleineres Modell testen.
• num_predict begrenzen.
• VRAM prüfen:

nvidia-smi

Fehler: 404 bei /api/generate

Prüfen, ob der richtige Endpunkt und die richtige Methode genutzt werden:

curl -X POST http://localhost:11434/api/generate -d '...'

Fehler: CORS im Browser

Frontend meldet CORS-Fehler. Lösungen:

• Proxy mit nginx oder Traefik vorschalten.
• Ollama-Hosts konfigurieren.
• Frontend und Ollama über denselben Ursprung ausliefern.

Fehler: Ungültiges JSON

Response kann nicht geparst werden. Häufig bei Streams:

import json
for line in response.iter_lines():
    if line:
        data = json.loads(line)
        print(data["response"], end="")

Fehler: Modell startet nicht

Prüfen:

ollama list
ollama ps

Falls das Modell nicht läuft, prüfen:

• Genug RAM/VRAM.
• Modell-Datei nicht korrupt.
• Ollama-Version aktuell.

Logs lesen

Linux:

journalctl -u ollama -f

macOS:

tail -f ~/.ollama/logs/server.log

Windows: In der Ereignisanzeige oder der Logdatei unter %USERPROFILE%\.ollama\logs.

Fehler: GPU nicht genutzt

ollama run llama3.1

Logs prüfen. Mögliche Ursachen:

• GPU-Treiber fehlen oder sind zu alt.
• ROCR_VISIBLE_DEVICES nicht gesetzt bei AMD.
• Container ohne GPU-Passthrough.

Fehler: Langsame Antworten

• Modellgrösse prüfen.
• Quantiserung prüfen.
• CPU vs GPU nutzen.
• num_thread setzen.
• Batch-Grösse anpassen.

Tipps zur Fehlerbehebung

• Immer zuerst mit curl testen.
• Logs parallel beobachten.
• Modell-Korrektheit prüfen.
• Timeout und Ressourcen beachten.
• Ollama auf dem neuesten Stand halten.
• Firewall und Netzwerk prüfen.

Weiterführende Links und Infos

• BotServ.de Ollama REST API
• BotServ.de Ollama Befehle
• BotServ.de Ollama Performance
• BotServ.de Docker GPU-Passthrough

FAQ: Ollama-API-Fehlerbehebung

Was ist der Standardport? 11434.

Warum antwortet Ollama nicht? Ollama-Dienst läuft nicht, Port blockiert oder falscher Host.

Wie prüfe ich, ob ein Modell geladen ist? ollama ps zeigt laufende Modelle.

Was tun bei Timeout? Timeout erhöhen, kleineres Modell wählen, GPU prüfen.

Wo finde ich die Logs? Linux unter journalctl, macOS unter ~/.ollama/logs/server.log.

Quellen und weiterführende Literatur

• Ollama API: https://github.com/ollama/ollama/blob/main/docs/api.md
• Ollama Troubleshooting: https://github.com/ollama/ollama/blob/main/docs/troubleshooting.md

Zusammenfassung: Ollama-API-Fehlerbehebung

Die meisten Ollama-API-Fehler lassen sich mit curl, Logs und Statuscodes eingrenzen. Typische Probleme sind nicht geladene Modelle, Verbindungsfehler, Timeouts und CORS. Eine saubere Prüfroutine, genügend Ressourcen und eine aktuelle Ollama-Version beheben die meisten Störungen. Wer Logs und HTTP-Codes beachtet, findet die Ursache meist schnell.