Ubuntu für KI: Server-Setup Schritt für Schritt

Was dieser Artikel behandelt

Installation eines Ubuntu Servers von der ISO-Datei bis zum ersten Bootvorgang
Ersteinrichtung mit Benutzer, SSH-Keys und abgesichertem Root-Login
Updates und automatische Wartung über apt und unattended-upgrades
Installation von KI-Software wie Ollama, Docker und Python
Schritt-für-Schritt-Beispiel für einen kompletten KI-Server inklusive typischer Stolpersteine

Einleitung: Ubuntu für KI

Ubuntu ist eine der beliebtesten Linux-Distributionen für Server und Entwicklerrechner. Wenn Du eine lokale KI aufbauen möchtest, bietet Ubuntu eine solide, gut dokumentierte Grundlage. Du bekommst aktuelle Pakete, langfristige Support-Versionen und eine riesige Community, die bei fast jedem Problem schon eine Lösung gefunden hat.

In diesem Artikel gehe ich jeden Schritt durch, den Du für einen Ubuntu Server brauchst, der als Plattform für lokale KI dient. Du lernst, wie Du das System installierst, absicherst und mit KI-Software bestückst. Am Ende hast Du einen Server, auf dem Du Modelle wie Llama oder Mistral lokal ausführen kannst, ohne Cloud oder Abo.

Dieser Artikel richtet sich an Einsteigerinnen und Einsteiger, die noch nie einen Linux-Server aufgesetzt haben. Du brauchst keine Vorkenntnisse mit Ubuntu, solltest aber bereit sein, die Kommandozeile zu nutzen.

Warum Ubuntu für KI?

Es gibt viele Linux-Distributionen, aber Ubuntu hat für KI-Projekte einige konkrete Vorteile. Erstens liefern die meisten KI-Tools wie Ollama, Docker und Python-Bibliotheken ihre Installationsanleitungen primär für Ubuntu. Zweitens bietet Ubuntu mit den LTS-Versionen (Long Term Support) fünf Jahre Sicherheitsupdates, ohne dass Du die Distribution wechseln musst. Drittens ist die Dokumentation und Community so gross, dass Du zu fast jedem Fehler eine Lösung findest.

Andere Distributionen wie Debian oder Fedora funktionieren ebenfalls, aber Ubuntu reduziert die Reibung besonders für Anfänger. Wenn Du später einmal auf einen anderen Linux-Stil wechseln möchtest, ist das problemlos möglich. Der Einstieg mit Ubuntu ist schlicht der geradlinigste Weg.

Wenn Du Dich generell für das Thema Self-Hosting interessierst, findest Du unter Self-Hosting weitere Artikel rund um den eigenen Server.

Ubuntu kurz erklärt

Ubuntu ist eine Linux-Distribution, die auf Debian basiert und von der Firma Canonical herausgegeben wird. Es gibt eine Desktop-Version mit grafischer Oberfläche und eine Server-Version, die ohne Desktop auskommt und über die Kommandozeile bedient wird. Für einen KI-Server nutzt Du die Server-Version, weil sie weniger Ressourcen verbraucht und mehr Speicher für Modelle frei lässt.

Ubuntu erscheint alle sechs Monate in einer neuen Version. Für Server empfiehlt sich eine LTS-Version, die alle zwei Jahre veröffentlicht wird und fünf Jahre lang mit Sicherheitsupdates versorgt wird. Die aktuell relevanten LTS-Versionen sind Ubuntu 24.04 LTS und Ubuntu 22.04 LTS.

Für wen ist dieser Artikel gedacht?

Dieser Artikel richtet sich an Anfängerinnen und Anfänger, die einen Ubuntu Server für lokale KI aufsetzen möchten. Du solltest wissen, wie Du ein Terminal öffnest und Befehle eingibst. Vorkenntnisse mit Linux-Servern sind hilfreich, aber nicht erforderlich.

Wenn Du bereits einen Ubuntu Server betreibst und nur die KI-Software installieren willst, kannst Du direkt zum Abschnitt über KI-Software springen. Wenn Du hingegen bei null anfängst, arbeite alle Schritte der Reihe nach durch.

Wichtige Begriffe

Begriff	Erklärung
Ubuntu	Linux-Distribution auf Debian-Basis, herausgegeben von Canonical
LTS	Long Term Support, Version mit fünf Jahren Sicherheitsupdates
SSH	Secure Shell, Protokoll für verschlüsselte Fernverbindung zum Server
apt	Paketmanager von Ubuntu zum Installieren und Aktualisieren von Software
sudo	Befehl, um einen anderen Befehl mit Root-Rechten auszuführen
systemd	Init-System und Service-Manager auf modernen Linux-Distributionen
UFW	Uncomplicated Firewall, einfaches Firewall-Tool auf Ubuntu
User	Normaler Benutzeraccount mit eingeschränkten Rechten
Root	Administratoraccount mit vollständigen Rechten auf dem System
Kernel	Der Kern des Betriebssystems, der Hardware und Software verbindet

Ubuntu Server installieren

Ubuntu Server herunterladen

Lade die aktuelle LTS-Version von der offiziellen Ubuntu-Website herunter. Du erhältst eine ISO-Datei, die Du auf einen USB-Stick schreibst.

# Beispiel: ISO herunterladen (URL anpassen)
wget https://releases.ubuntu.com/24.04/ubuntu-24.04-live-server-amd64.iso

Achte darauf, dass Du die Server-Version und nicht die Desktop-Version lädst. Die Server-Version kommt ohne grafische Oberfläche und ist für reine Serverbetrieb gedacht.

Bootfähigen USB-Stick erstellen

Schreibe die ISO-Datei auf einen USB-Stick. Unter Linux nutzt Du dafür dd, unter Windows kannst Du Rufus verwenden.

# USB-Stick identifizieren
lsblk

# ISO auf den USB-Stick schreiben (Gerätename anpassen!)
sudo dd if=ubuntu-24.04-live-server-amd64.iso of=/dev/sdX bs=4M status=progress

Ersetze /dev/sdX durch den tatsächlichen Gerätenamen Deines USB-Sticks. Ein falscher Gerätename kann Daten auf einem anderen Laufwerk zerstören, prüfe daher die Ausgabe von lsblk sorgfältig.

Installation durchführen

Boote den Zielrechner vom USB-Stick und folge dem Installationsprogramm. Die wichtigsten Schritte:

Sprache und Tastaturlayout auswählen
Netzwerk konfigurieren, idealerweise per DHCP
Festplatte auswählen und Partitionierung bestätigen
Benutzerprofil erstellen: Name, Benutzername und Passwort
SSH-Server aktivieren, damit Du den Server fernsteuern kannst
Installation abschliessen und neu starten

Nach dem Neustart siehst Du den Login-Prompt. Melde Dich mit dem Benutzer an, den Du während der Installation erstellt hast.

Ersteinrichtung

Benutzer und sudo

Während der Installation hast Du bereits einen Benutzer angelegt. Dieser Benutzer ist Mitglied der Gruppe sudo und darf Befehle mit Root-Rechten ausführen. Prüfe das mit folgendem Befehl:

groups

Wenn sudo in der Ausgabe steht, ist alles korrekt. Falls Du einen weiteren Benutzer anlegen möchtest, geht das so:

# Neuen Benutzer anlegen
sudo adduser kiuser

# Benutzer zur sudo-Gruppe hinzufügen
sudo usermod -aG sudo kiuser

SSH-Keys einrichten

Anstatt Dich mit einem Passwort anzumelden, nutze SSH-Keys. Das ist sicherer und bequemer. Erstelle auf Deinem lokalen Rechner ein Schlüsselpaar:

# Auf dem lokalen Rechner ausführen
ssh-keygen -t ed25519 -C "dein@email.de"

Kopiere den öffentlichen Schlüssel auf den Server:

ssh-copy-id kiuser@server-ip

Ab jetzt kannst Du Dich ohne Passwort anmelden, solange Dein privater Schlüssel vorhanden ist.

Sobald SSH-Keys funktionieren, deaktiviere den direkten Root-Login. Bearbeite die SSH-Konfiguration:

sudo nano /etc/ssh/sshd_config

Ändere folgende Zeile:

PermitRootLogin no

Starte den SSH-Dienst neu:

sudo systemctl restart ssh

Öffne eine zweite Shell und teste, ob Du Dich noch anmelden kannst, bevor Du die erste Shell schliesst. So verhinderst Du, dass Du Dich selbst aussperrst.

Firewall aktivieren

Ubuntu bringt UFW als einfache Firewall mit. Aktiviere sie und gib nur SSH frei:

sudo ufw allow ssh
sudo ufw enable

Wenn Du später Dienste wie Ollama oder Docker hinzufügst, öffnest Du die entsprechenden Ports gezielt. Mehr dazu findest Du im Artikel zur Firewall.

Updates und Wartung

apt update und upgrade

Halte Dein System aktuell, indem Du regelmässig Updates einspielst. Die beiden zentralen Befehle:

# Paketquellen aktualisieren
sudo apt update

# Alle Pakete auf den neuesten Stand bringen
sudo apt upgrade

Führe diese Befehl nach der Installation und danach wöchentlich aus. Sicherheitsupdates sind besonders wichtig, weil sie bekannte Lücken schliessen.

Automatische Updates einrichten

Für Sicherheitsupdates nutzt Du unattended-upgrades. Damit installiert Ubuntu wichtige Updates automatisch, ohne dass Du eingreifen musst.

# Paket installieren
sudo apt install unattended-upgrades

# Konfiguration aktivieren
sudo dpkg-reconfigure -plow unattended-upgrades

Bestätige die Abfrage mit Ja. Ab jetzt installiert das System automatisch Sicherheitsupdates. Normale Funktionsupdates installiert es nicht, damit Dein Server stabil bleibt.

KI-Software installieren

Ollama installieren

Ollama ist das einfachste Tool, um lokale Sprachmodelle auf Ubuntu auszuführen. Die Installation läuft über ein offizielles Script:

curl -fsSL https://ollama.com/install.sh | sh

Nach der Installation läuft Ollama automatisch als systemd-Service. Lade ein erstes Modell herunter:

ollama pull llama3.2
ollama run llama3.2

Eine ausführliche Anleitung findest Du unter Ollama auf Linux und in der Ollama-Übersicht.

Docker installieren

Docker ist nützlich, wenn Du KI-Anwendungen in Containern betreiben möchtest. Die Installation über das offizielle Docker-Repository:

# Docker-Repository hinzufügen
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

# Paketquellen aktualisieren und Docker installieren
sudo apt update
sudo apt install docker-ce docker-ce-cli containerd.io docker-compose-plugin

Füge Deinen Benutzer zur Docker-Gruppe hinzu, damit Du Docker ohne sudo nutzen kannst:

sudo usermod -aG docker kiuser

Melde Dich einmal ab und wieder an, damit die Gruppenänderung wirksam wird. Grundlagen zu Docker findest Du im Artikel Docker Grundlagen.

Python installieren

Viele KI-Bibliotheken basieren auf Python. Ubuntu 24.04 bringt Python 3.12 mit. Prüfe die Version:

python3 --version

Installiere pip und venv für die Paketverwaltung und virtuelle Umgebungen:

sudo apt install python3-pip python3-venv

Lege für jedes KI-Projekt eine eigene virtuelle Umgebung an, damit sich Pakete nicht in die Quere kommen:

python3 -m venv ~/ki-projekt
source ~/ki-projekt/bin/activate
pip install transformers torch

Beispiel: KI-Server aufsetzen

Hier ist ein kompletter Durchlauf, der alle Schritte zu einem fertigen KI-Server kombiniert.

Schritt 1: System aktualisieren

sudo apt update && sudo apt upgrade -y

Schritt 2: Firewall aktivieren

sudo ufw allow ssh
sudo ufw allow 11434  # Ollama API
sudo ufw enable

Schritt 3: Ollama installieren

curl -fsSL https://ollama.com/install.sh | sh

Schritt 4: Modell laden und testen

ollama pull llama3.2
ollama run llama3.2 "Erkläre Ubuntu in drei Sätzen."

Schritt 5: Ollama im Netzwerk erreichbar machen

Standardmässig lauscht Ollama nur auf localhost. Wenn Du von anderen Rechnern zugreifen willst, bearbeite den systemd-Service:

sudo systemctl edit ollama.service

Füge folgende Zeilen ein:

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

Starte den Service neu:

sudo systemctl daemon-reload
sudo systemctl restart ollama

Schritt 6: Docker für zusätzliche KI-Tools installieren

sudo apt install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y
sudo usermod -aG docker kiuser

Schritt 7: Status prüfen

systemctl status ollama
systemctl status docker
ollama list

Wenn alle Befehle ohne Fehler durchlaufen, ist Dein KI-Server bereit.

Typische Stolpersteine

Falscher USB-Stick bei dd: Ein falscher Gerätename überschreibt eine andere Festplatte. Prüfe lsblk vor jedem Schreibvorgang.
SSH-Login nach Änderung nicht getestet: Wenn Du den Root-Login deaktivierst und die SSH-Konfiguration fehlerhaft ist, sperre Dich nicht aus. Lass eine zweite Shell offen, bis die Änderung bestätigt ist.
Firewall aktiviert ohne SSH-Regel: Wenn Du ufw enable ausführst, bevor Du SSH freigibst, verlierst Du den Zugang. Gib zuerst SSH frei, dann aktiviere die Firewall.
Ollama lauscht nur auf localhost: Wenn Du von einem anderen Rechner auf die API zugreifen willst, musst Du OLLAMA_HOST auf 0.0.0.0 setzen, sonst ist der Dienst von aussen nicht erreichbar.
Docker ohne Gruppenanpassung: Ohne die Docker-Gruppe musst Du jedes Mal sudo docker tippen. Vergiss nicht, Dich einmal ab- und anzumelden, damit die Änderung greift.
Zu wenig RAM für grosse Modelle: Ein 7B-Modell braucht etwa 4 bis 8 GB RAM, je nach Quantisierung. Prüfe vorher, ob Dein Server genug Speicher hat. Empfehlungen zur Hardware findest Du im Artikel KI-PC Einsteiger.
Automatische Updates brechen Dienste: In seltenen Fällen kann ein Kernel-Update einen Neustart erfordern, der laufende KI-Prozesse unterbricht. Plane Wartungsfenster für Kernel-Updates ein.

Hardware, Kosten und Sicherheit

Hardware

Für einen KI-Server auf Ubuntu brauchst Du mindestens 8 GB RAM und eine CPU mit vier Kernen. Wenn Du Modelle mit GPU-Beschleunigung betreiben willst, kommt eine Nvidia-Grafikkarte mit mindestens 8 GB VRAM dazu. Für reine CPU-Inferenz reicht ein solider Prozessor und viel RAM.

Kosten

Ubuntu Server ist kostenlos. Die Kosten entstehen durch die Hardware und den Stromverbrauch. Ein sparsamer Mini-PC mit 16 GB RAM kostet etwa 200 bis 400 Euro. Ein Server mit dedizierter GPU liegt bei 600 bis 1500 Euro, je nach Modell.

Sicherheit

Ein Server im eigenen Netzwerk ist nicht automatisch sicher. Diese Massnahmen solltest Du umsetzen:

SSH-Keys statt Passwörtern verwenden
Root-Login über SSH deaktivieren
UFW-Firewall aktivieren und nur benötigte Ports freigeben
Regelmässig Updates einspielen, idealerweise automatisch für Sicherheitsupdates
Den Server nicht direkt ins Internet exponieren, sondern hinter einem Reverse Proxy oder VPN betreiben

Weiterführende Links

FAQ

Brauche ich die Desktop-Version von Ubuntu für KI?

Nein, die Server-Version reicht völlig aus und verbraucht weniger Ressourcen. Die Kommandozeile ist für Serverbetrieb der Standardweg. Wenn Du eine grafische Oberfläche bevorzugst, kannst Du die Desktop-Version installieren, verzichtest damit aber auf Speicher und CPU-Leistung.

Welche Ubuntu-Version soll ich installieren?

Nutze die aktuelle LTS-Version, derzeit Ubuntu 24.04 LTS. LTS-Versionen erhalten fünf Jahre Sicherheitsupdates und sind stabiler als die halbjährlichen Zwischenversionen.

Kann ich Ubuntu Server ohne Monitor betreiben?

Ja, das ist der Normalfall. Du installierst den Server einmal mit angeschlossenem Monitor und Tastatur, aktivierst SSH und steuerst ihn danach ausschliesslich über das Netzwerk.

Wie viel RAM brauche ich für lokale KI auf Ubuntu?

Für kleine Modelle wie Llama 3.2 mit 3B Parametern reichen 8 GB RAM. Für 7B-Modelle empfehle ich 16 GB. Wenn Du mehrere Modelle gleichzeitig betreiben willst, plane 32 GB oder mehr ein.

Funktioniert Ollama auch ohne GPU?

Ja, Ollama läuft auch auf der CPU, ist dann aber deutlich langsamer. Für experimentelle Nutzung reicht das, für regelmässige Nutzung empfiehlt sich eine GPU.

Wie halte ich meinen Ubuntu Server aktuell?

Führe regelmässig sudo apt update && sudo apt upgrade aus. Für Sicherheitsupdates richtest Du unattended-upgrades ein, damit diese automatisch installiert werden.

Ist Ubuntu Server sicher genug für KI-Anwendungen?

Ja, wenn Du die grundlegenden Massnahmen umsetzt: SSH-Keys, deaktivierter Root-Login, aktivierte Firewall und regelmässige Updates. Ein Server im eigenen Netzwerk ist ohnehin weniger exponiert als ein Cloud-Server.

Kann ich mehrere KI-Tools gleichzeitig auf Ubuntu betreiben?

Ja, Du kannst Ollama, Docker-Container und Python-Projekte parallel installieren. Achte darauf, dass jeder Dienst seinen eigenen Port nutzt und die Hardware-Ressourcen ausreichen.

Was mache ich, wenn Ollama nicht startet?

Prüfe die Logs mit journalctl -u ollama -e. Häufige Ursachen sind fehlende Berechtigungen, zu wenig RAM oder ein fehlerhafter systemd-Service. Eine ausführliche Fehlerbehebung findest Du im Artikel zu Ollama auf Linux.

Brauche ich Docker für lokale KI auf Ubuntu?

Nein, Docker ist optional. Ollama und Python funktionieren auch ohne Docker. Docker ist sinnvoll, wenn Du mehrere isolierte KI-Umgebungen betreiben oder Anwendungen einfach deployen willst.

Kann ich von Windows auf meinen Ubuntu Server zugreifen?

Ja, unter Windows nutzt Du SSH-Clients wie PuTTY oder die eingebaute OpenSSH-Funktion. Du brauchst die IP-Adresse des Servers und Deinen SSH-Key oder Dein Passwort.

Quellen

Ubuntu Documentation: https://documentation.ubuntu.com/
Ubuntu Server Download: https://ubuntu.com/download/server
Ollama Documentation: https://github.com/ollama/ollama
Docker Documentation: https://docs.docker.com/
UFW Documentation: https://help.ubuntu.com/community/UFW

Täglicher Artikel