Ollama installieren

Einleitung

Ollama ist die schnellste Möglichkeit, um Large Language Models lokal auszuführen. Es vereint Modellverwaltung, Laufzeitumgebung und lokale API in einem Tool. Dieser Artikel zeigt, wie Du Ollama auf Linux, macOS, Windows und in Docker installierst.

Ollama installieren - In A Nutshell

Ollama lässt sich auf Linux und macOS direkt über ein Installationsskript einrichten. Für Windows gibt es einen offiziellen Installer. In Docker kannst Du Ollama als Container betreiben, besonders nützlich für Server- oder NAS-Umgebungen. Nach der Installation startest Du Dein erstes Modell mit ollama run llama3.

Wichtige Begriffe und Komponenten

Begriff	Bedeutung
Ollama	Laufzeitumgebung für lokale Sprachmodelle
Modell	Die eigentliche KI-Datei, die Ollama lädt und ausführt
Ollama CLI	Kommandozeilenwerkzeug zur Steuerung
Ollama API	Lokale HTTP-Schnittstelle unter Port 11434

Praxisrelevanz

Für wen ist diese Anleitung gedacht?

Du willst Ollama schnell installieren und Dein erstes Modell lokal starten. Die Anleitung richtet sich an Einsteiger, die ein funktionierendes Setup benötigen, ohne erst lange in Dokumentationen zu lesen.

Installation auf Linux

Für die meisten Linux-Distributionen reicht dieses Kommando:

curl -fsSL https://ollama.com/install.sh | sh

Das Skript lädt Ollama herunter, richtet einen Systemdienst ein und startet diesen. Anschließend prüfst Du den Status:

ollama --version

Für GPU-Support auf Nvidia-Karten sollten die passenden Treiber und das CUDA-Toolkit installiert sein. Ollama erkennt die GPU automatisch, wenn alles korrekt eingerichtet ist.

Installation auf macOS

Lade Ollama von der offiziellen Webseite herunter und ziehe die App in den Programme-Ordner. Alternativ kannst Du Homebrew nutzen:

brew install ollama

Apple Silicon wird nativ unterstützt. Intel-Macs funktionieren ebenfalls, sind aber deutlich langsamer. Nach dem Start erscheint Ollama in der Menüleiste. Du kannst es danach über das Terminal oder eine API nutzen.

Installation auf Windows

Lade den Installer von ollama.com herunter und führe ihn aus. Der Installer richtet Ollama als Dienst ein. Nach der Installation öffnest Du ein PowerShell- oder Terminalfenster und prüfst:

ollama --version

Windows-Nutzer ohne WSL sollten beachten, dass GPU-Support und bestimmte Funktionen auf dem jeweiligen Treiberstand abhängen. Für fortgeschrittene Szenarien lohnt sich oft der Betrieb in WSL2.

Installation mit Docker

Für Server, NAS oder isolierte Umgebungen eignet sich Docker. Der offizielle Container startet so:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Für GPU-Support unter Nvidia ergänzt Du den Container um den passenden Runtime-Parameter. Auf einem Synology- oder Ugreen-NAS kannst Du das gleiche Image über Docker Compose oder die grafische Docker-Oberfläche nutzen.

Ollama testen

Nach der Installation lädst Du ein erstes Modell herunter:

ollama pull llama3
ollama run llama3

Ollama startet den Chat im Terminal. Mit /bye beendest Du die Sitzung.

Konfiguration

Standardmäßig legt Ollama Modelle unter ~/.ollama ab. Über Umgebungsvariablen kannst Du Pfade, Ports und andere Einstellungen anpassen. Mehr dazu findest Du im Artikel Ollama Konfiguration.

Weitere KI Infos und Themen

• Ollama ist auf Linux, macOS, Windows und Docker verfügbar.
• Nach der Installation startest Du ein Modell mit ollama run modellname.
• GPU-Support erkennt Ollama automatisch bei korrekten Treibern.
• Docker eignet sich besonders für Server und NAS.

Mehr zur API findest Du in Ollama API nutzen und zur Modellverwaltung in Ollama Modelle verwalten.

FAQ - Typische Fragen zur Installation

Muss ich Linux neu starten?

Nein. Der Dienst startet nach der Installation meist automatisch. Bei Problemen kann ein Neustart helfen.

Funktioniert Ollama auch ohne GPU?

Ja, dann läuft es auf der CPU. Die Performance ist deutlich niedriger, aber für Tests ausreichend.

Wo liegen die heruntergeladenen Modelle?

Standardmäßig unter ~/.ollama/models bei Linux und macOS oder im Benutzerverzeichnis unter Windows.

Kann ich Ollama auf einem NAS laufen lassen?

Ja, mit Docker oder Podman. Achte auf ausreichend RAM und CPU-Leistung, da viele NAS nur wenig Rechenpower bieten.

Tools und Weiterführendes

Die offizielle Ollama-Dokumentation und das Docker-Image sind die besten Startpunkte. Für grafische Oberflächen eignet sich Open WebUI.

Quellen

• Ollama Installationsanleitung
• Ollama Docker Hub
• Docker GPU-Dokumentation