Ollama Netzwerkzugriff: Remote-Zugriff einrichten

Was dieser Artikel über Ollama Netzwerkzugriff behandelt

• Wie Du Ollama von anderen Geräten im Netzwerk erreichst.
• Welche Umgebungsvariablen Du dafür setzen musst.
• Wie Du die Firewall korrekt konfigurierst.
• Welche Sicherheitsrisiken bestehen und wie Du sie minimierst.
• Wie Du Ollama mit Reverse Proxy, TLS und VPN absicherst.

Einleitung: Ollama Netzwerkzugriff verständlich erklärt

Ollama läuft nach der Installation standardmäßig nur lokal. Das bedeutet, dass nur Programme auf dem gleichen Rechner auf die API zugreifen können. Sobald Du Ollama aber auf einem Server betreibst oder von einem Laptop, Tablet oder einem anderen Teammitglied aus nutzen willst, brauchst Du Netzwerkzugriff. Dieser Artikel zeigt Dir Schritt für Schritt, wie Du Ollama im Netzwerk erreichbar machst und welche Sicherheitsmaßnahmen dabei wichtig sind.

Warum brauche ich Netzwerkzugriff?

Stell Dir vor, Du hast einen leistungsstarken Server mit einer guten GPU im Keller stehen. Auf diesem Server läuft Ollama mit einem großen Modell wie Llama 3.1. Dein Laptop im Wohnzimmer hat aber keine eigene GPU und wäre viel zu langsam für dieses Modell. Wenn Du Ollama im Netzwerk zugänglich machst, kannst Du vom Laptop aus auf den Server zugreifen und trotzdem schnelle Antworten bekommen.

Ein weiteres Beispiel: In einem Team will jeder Entwickler die gleiche lokale KI nutzen, ohne dass jeder ein eigenes Modell herunterladen und betreiben muss. Ein zentraler Ollama-Server im Netzwerk löst dieses Problem. Mehr dazu findest Du im Artikel LLM lokal betreiben.

Ollama Netzwerkzugriff kurz erklärt

Ollama lauscht standardmäßig nur auf 127.0.0.1, also localhost. Um es im Netzwerk erreichbar zu machen, setzt Du die Umgebungsvariable OLLAMA_HOST auf 0.0.0.0:11434. Danach öffnest Du den Port in der Firewall und konfigurierst OLLAMA_ORIGINS, falls Du aus dem Browser zugreifen willst. Für sichere Setups empfiehlt sich ein Reverse Proxy mit TLS oder ein VPN wie Tailscale.

Für wen ist dieser Artikel gedacht?

Dieser Artikel richtet sich an Einsteiger, die Ollama erstmals über das lokale Netzwerk hinaus zugänglich machen wollen. Du brauchst keine tiefgehenden Netzwerkkenntnisse, solltest aber grundlegend mit der Kommandozeile umgehen können. Wenn Du Ollama noch nicht installiert hast, beginne mit der Ollama Übersicht und der Installation.

Wichtige Begriffe rund um Ollama Netzwerkzugriff

Begriff	Bedeutung
OLLAMA_HOST	Umgebungsvariable, die Adresse und Port von Ollama festlegt
OLLAMA_ORIGINS	Umgebungsvariable für erlaubte Origins bei CORS-Anfragen
localhost	Adresse 127.0.0.1, nur vom eigenen Rechner erreichbar
0.0.0.0	Adresse, die auf allen Netzwerkschnittstellen lauscht
Port	Nummer der Netzwerkverbindung, Ollama nutzt standardmäßig 11434
Firewall	Netzwerkfilter, der ein- und ausgehende Verbindungen kontrolliert
CORS	Cross-Origin Resource Sharing, Mechanismus für Browser-Zugriffe
Reverse Proxy	Server, der vor Ollama steht und Anfragen weiterleitet
TLS	Verschlüsselungsprotokoll für sichere Netzwerkverbindungen
Tailscale	VPN-Lösung für einfache und sichere Netzwerkverbindungen

Standardverhalten: Nur localhost

Nach der Installation lauscht Ollama auf 127.0.0.1:11434. Das bedeutet, dass nur Programme auf dem gleichen Rechner auf die API zugreifen können. Ein Aufruf von einem anderen Gerät im Netzwerk schlägt fehl, weil die Verbindung gar nicht erst angenommen wird.

Du kannst das überprüfen, indem Du Dir anschaust, auf welchen Adressen Ollama lauscht:

ss -tlnp | grep ollama

Auf macOS und Windows kannst Du den Befehl netstat oder lsof nutzen. Die Ausgabe zeigt, dass Ollama nur an 127.0.0.1 gebunden ist. Das ist eine bewusste Sicherheitsmaßnahme, denn so kann niemand aus dem Netzwerk ungefragt auf Deine Modelle zugreifen.

Schritt 1: OLLAMA_HOST setzen

Um Ollama auf allen Netzwerkschnittstellen lauschen zu lassen, setzt Du die Umgebungsvariable OLLAMA_HOST auf 0.0.0.0:11434. Auf Linux trägst Du das in die Service-Datei ein:

sudo systemctl edit ollama

Im Editor fügst Du Folgendes ein:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

Danach lädst Du die Konfiguration neu und startest den Dienst:

sudo systemctl daemon-reload
sudo systemctl restart ollama

Auf macOS kannst Du die Variable in Deiner Shell setzen, bevor Du Ollama startest:

export OLLAMA_HOST=0.0.0.0:11434
ollama serve

Auf Windows nutzt Du die Systemumgebungsvariablen. Öffne die Einstellungen für Umgebungsvariablen, füge OLLAMA_HOST mit dem Wert 0.0.0.0:11434 hinzu und starte Ollama neu.

Nach dieser Änderung lauscht Ollama auf allen verfügbaren Netzwerkschnittstellen. Du kannst das erneut mit ss -tlnp überprüfen. Weitere Details zur Konfiguration findest Du im Artikel Ollama Konfiguration.

Schritt 2: OLLAMA_ORIGINS konfigurieren

Wenn Du aus dem Browser auf Ollama zugreifen willst, zum Beispiel über Open WebUI oder eine eigene Web-Anwendung, brauchst Du die Variable OLLAMA_ORIGINS. Ohne sie blockiert Ollama Anfragen, die von einer anderen Origin stammen, mit einem CORS-Fehler.

Setze die erlaubten Origins kommasepariert:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=http://192.168.1.50:3000,http://mein-server:3000"

Für Tests kannst Du auch alle Origins erlauben, was aber nicht für dauerhafte Setups empfohlen wird:

Environment="OLLAMA_ORIGINS=*"

Starte den Dienst danach neu. Wenn Du CORS-Fehler im Browser siehst, ist meist OLLAMA_ORIGINS nicht korrekt gesetzt.

Schritt 3: Firewall öffnen

Auch wenn Ollama jetzt auf 0.0.0.0 lauscht, blockiert die Firewall möglicherweise noch Verbindungen von außen. Du musst Port 11434 freigeben.

Linux mit ufw:

sudo ufw allow 11434/tcp
sudo ufw reload

Beschränke den Zugriff besser auf Dein lokales Netzwerk, anstatt den Port weltweit zu öffnen:

sudo ufw allow from 192.168.1.0/24 to any port 11434

Mehr zur Firewall-Konfiguration findest Du im Artikel Firewall.

Windows:

New-NetFirewallRule -DisplayName "Ollama" -Direction Inbound -Protocol TCP -LocalPort 11434 -Action Allow

macOS:

Die macOS-Firewall blockiert eingehende Verbindungen standardmäßig nicht, es sei denn, sie ist explizit aktiviert. Falls Du eine Firewall-App nutzt, füge dort eine Ausnahme für Port 11434 hinzu.

Schritt 4: Von anderen Geräten zugreifen

Jetzt kannst Du von einem anderen Rechner im Netzwerk auf Ollama zugreifen. Finde zuerst die IP-Adresse des Ollama-Servers heraus:

ip addr

Angenommen, die Adresse lautet 192.168.1.100. Dann testest Du von einem anderen Gerät aus:

curl http://192.168.1.100:11434/api/tags

Wenn Du eine JSON-Antwort mit den verfügbaren Modellen erhältst, funktioniert der Netzwerkzugriff. Eine einfache Generierungsanfrage sieht so aus:

curl http://192.168.1.100:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Hallo aus dem Netzwerk",
  "stream": false
}'

Im Browser kannst Du Open WebUI nutzen und als Ollama-Adresse http://192.168.1.100:11434 eintragen. Mehr zur API findest Du im Artikel Ollama API.

Sicherheit: Was Du beachten musst

Ollama hat standardmäßig keine Authentifizierung. Jeder, der den Port erreicht, kann Modelle laden, Anfragen senden und Antworten erhalten. Das ist im lokalen Netzwerk vertretbar, wird aber zum Problem, sobald Ollama aus dem Internet erreichbar ist.

Folgende Risiken bestehen:

• Unbefugte können Deine Modelle nutzen und Rechenleistung verbrauchen.
• Modelle können sensible Antworten liefern, die für Dritte sichtbar werden.
• Bei falscher Firewall-Konfiguration ist Ollama weltweit erreichbar.

Deshalb solltest Du folgende Regeln beachten:

1. Nie Ollama direkt ins Internet exponieren. Nutze immer eine Firewall, einen Reverse Proxy oder ein VPN.
2. Port 11434 nur für vertraute Netzwerke öffnen. Beschränke den Zugriff auf Dein LAN oder VPN.
3. Authentifizierung über Reverse Proxy. Setze Nginx mit Basic Auth oder einem Auth-Plugin davor.
4. TLS für verschlüsselte Verbindungen. Ohne TLS laufen Anfragen im Klartext über das Netzwerk.

Mehr zum Thema findest Du unter Netzwerksicherheit.

Reverse Proxy mit Nginx

Ein Reverse Proxy ist die sicherste Methode, um Ollama im Netzwerk oder über das Internet anzubieten. Nginx nimmt Anfragen entgegen, prüft Berechtigungen und leitet sie an Ollama weiter.

Eine einfache Nginx-Konfiguration sieht so aus:

server {
    listen 80;
    server_name ollama.example.local;

    location / {
        proxy_pass http://127.0.0.1:11434;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        # Streaming unterstützen
        proxy_buffering off;
        proxy_read_timeout 300s;
    }
}

Für Basic Auth legst Du eine Passwortdatei an:

sudo htpasswd -c /etc/nginx/.htpasswd meinuser

Und ergänzt die Nginx-Konfiguration:

auth_basic "Ollama";
auth_basic_user_file /etc/nginx/.htpasswd;

Für TLS nutzt Du Let’s Encrypt oder ein selbst signiertes Zertifikat. Mit certbot richtest Du TLS automatisch ein:

sudo certbot --nginx -d ollama.example.com

Danach ist Ollama über https://ollama.example.com mit Authentifizierung und Verschlüsselung erreichbar. Mehr dazu im Artikel Reverse Proxy.

VPN-Lösung mit Tailscale

Wenn Du Ollama nicht über einen Reverse Proxy erreichbar machen willst, bietet sich ein VPN an. Tailscale ist besonders einfach einzurichten und benötigt keine Portfreigaben in der Firewall.

So funktioniert es:

1. Installiere Tailscale auf dem Ollama-Server und auf allen Geräten, die zugreifen sollen.
2. Melde alle Geräte mit dem gleichen Tailscale-Konto an.
3. Setze OLLAMA_HOST auf die Tailscale-IP des Servers oder auf 0.0.0.0:11434.
4. Greife über die Tailscale-IP auf Ollama zu.

curl http://100.x.y.z:11434/api/tags

Tailscale verschlüsselt die Verbindung automatisch. Du brauchst keinen Reverse Proxy und keine Portfreigaben. Das ist besonders praktisch, wenn Du von außerhalb des eigenen Netzwerks auf Ollama zugreifen willst. Mehr dazu im Artikel Tailscale.

Typische Stolpersteine beim Netzwerkzugriff

1. OLLAMA_HOST nicht gesetzt. Ollama lauscht weiterhin nur auf localhost, und Verbindungen von außen schlagen fehl.
2. Firewall blockiert den Port. Ollama ist korrekt konfiguriert, aber die Firewall lässt keine Verbindungen durch.
3. CORS-Fehler im Browser. OLLAMA_ORIGINS ist nicht gesetzt oder enthält nicht die richtige Origin.
4. Falsche IP-Adresse. Du versuchst, auf localhost statt auf die Netzwerk-IP des Servers zuzugreifen.
5. Kein Neustart nach Änderung. Umgebungsvariablen werden erst nach einem Neustart des Dienstes aktiv.
6. Port bereits belegt. Ein anderer Dienst nutzt Port 11434 bereits. Prüfe mit ss -tlnp | grep 11434.
7. Docker-Portmapping vergessen. Bei Docker musst Du den Port mit -p 11434:11434 weiterleiten.
8. Ollama im WSL2. WSL2 hat eine eigene IP-Adresse, die sich von der Windows-IP unterscheidet. Du brauchst Port-Forwarding oder eine WSL2-Mirror-Netzwerkkonfiguration.

Bei weiteren Problemen hilft der Artikel Ollama Fehlerbehebung.

Hardware, Kosten und Sicherheit beim Netzwerkzugriff

Die Hardware-Anforderungen ändern sich durch den Netzwerkzugriff nicht. Der Server, auf dem Ollama läuft, braucht weiterhin ausreichend RAM und idealerweise eine GPU. Die zugreifenden Geräte benötigen keine eigene GPU, da die Berechnung auf dem Server stattfindet.

Kosten entstehen nur für Hardware und Strom. Ollama selbst ist kostenlos und Open Source. Bei einem Reverse Proxy mit Let’s Encrypt fallen ebenfalls keine Kosten an. Tailscale ist für private Nutzung mit bis zu 100 Geräten kostenlos.

Sicherheitstechnisch ist der Netzwerkzugriff der kritischste Teil Deines Ollama-Setups. Ohne Authentifizierung und Verschlüsselung ist Ollama ein offenes Tor. Investiere Zeit in einen Reverse Proxy oder ein VPN, bevor Du Ollama im Netzwerk erreichbar machst.

Weiterführende Links und Infos zum Netzwerkzugriff

• Ollama Übersicht - Grundlagen und Funktionen von Ollama.
• Ollama Konfiguration - Alle Umgebungsvariablen und Einstellungen.
• Ollama API - Endpunkte und Beispiele für die HTTP-API.
• Ollama Fehlerbehebung - Lösungen für häufige Probleme.
• Netzwerksicherheit - Grundlagen sicherer Netzwerkkonfiguration.
• Firewall - Firewall-Regeln richtig setzen.
• Reverse Proxy - Nginx und andere Proxy-Lösungen.
• Tailscale - VPN ohne Portfreigaben.

FAQ: Ollama Netzwerkzugriff - Typische Fragen

Wie mache ich Ollama im Netzwerk erreichbar?

Setze die Umgebungsvariable OLLAMA_HOST auf 0.0.0.0:11434, öffne Port 11434 in der Firewall und starte den Dienst neu. Danach kannst Du von anderen Geräten über die IP-Adresse des Servers zugreifen.

Was macht OLLAMA_HOST?

OLLAMA_HOST legt fest, auf welcher Adresse und welchem Port Ollama lauscht. Standard ist 127.0.0.1:11434, also nur localhost. Mit 0.0.0.0:11434 lauscht Ollama auf allen Netzwerkschnittstellen.

Was ist OLLAMA_ORIGINS?

OLLAMA_ORIGINS steuert, welche Origins bei Browser-Anfragen erlaubt sind. Ohne diese Variable blockiert Ollama CORS-Anfragen. Du trägst die Adressen Deiner Web-Anwendungen kommasepariert ein.

Wie greife ich aus dem Browser auf Ollama zu?

Du brauchst OLLAMA_ORIGINS mit der Origin Deiner Web-Anwendung, zum Beispiel http://192.168.1.50:3000. Danach kannst Du aus JavaScript heraus fetch-Aufrufe an die Ollama-API senden.

Ist Ollama ohne Authentifizierung sicher?

Nein. Ollama hat standardmäßig keine Authentifizierung. Jeder, der den Port erreicht, kann Modelle nutzen. Nutze einen Reverse Proxy mit Basic Auth oder ein VPN wie Tailscale.

Kann ich Ollama über das Internet erreichbar machen?

Ja, aber nur mit einem Reverse Proxy mit TLS und Authentifizierung oder über ein VPN. Setze Ollama nie direkt ohne Schutz ins Internet.

Welchen Port nutzt Ollama?

Standardmäßig Port 11434. Du kannst das über OLLAMA_HOST ändern, zum Beispiel 0.0.0.0:8080 für Port 8080.

Warum bekomme ich einen CORS-Fehler?

Wahrscheinlich ist OLLAMA_ORIGINS nicht gesetzt oder enthält nicht die Origin, von der aus Du zugreifst. Trage die Origin Deiner Anwendung ein und starte Ollama neu.

Funktioniert Ollama mit Tailscale?

Ja. Installiere Tailscale auf dem Server und den zugreifenden Geräten, setze OLLAMA_HOST auf 0.0.0.0:11434 und greife über die Tailscale-IP zu. Die Verbindung ist automatisch verschlüsselt.

Muss ich die Firewall anpassen?

Ja, wenn Ollama von anderen Geräten erreichbar sein soll. Öffne Port 11434 für TCP, idealerweise beschränkt auf Dein lokales Netzwerk oder VPN.

Wie prüfe ich, ob Ollama im Netzwerk erreichbar ist?

Rufe von einem anderen Gerät curl http://SERVER-IP:11434/api/tags auf. Wenn Du eine JSON-Antwort mit den Modellen erhältst, funktioniert der Zugriff.

Kann ich mehrere Ollama-Instanzen im Netzwerk betreiben?

Ja. Jede Instanz nutzt einen eigenen Port und eine eigene IP-Adresse. Setze OLLAMA_HOST entsprechend und öffne die benötigten Ports in der Firewall.

Quellen und weiterführende Literatur

• Ollama FAQ zur Netzwerkkonfiguration
• Ollama Dokumentation zu Umgebungsvariablen
• Nginx Reverse Proxy Doku
• Tailscale Dokumentation
• ufw Firewall Anleitung