Lokale KI im Unternehmen

Was dieser Artikel über lokale KI im Unternehmen behandelt

Wie kleine und mittlere Unternehmen lokale KI einführen.
Welche Use Cases sich eignen: Dokumentation, Kundenservice, E-Mail, Wissensmanagement.
Wie Datenschutz, DSGVO und Compliance mit lokaler KI gelöst werden.
Wie Kosten, Hardware und Wartung kalkuliert werden.
Praxisbeispiele für verschiedene Unternehmensgrößen.

Einleitung: Lokale KI im Unternehmen verständlich erklärt

Lokale KI ist für kleine und mittlere Unternehmen (KMU) besonders attraktiv. Cloud-KI wie ChatGPT kostet pro Nutzer und Monat, bei 10 Nutzern sind das 200 Euro pro Monat. Dazu kommen Datenschutzbedenken, weil sensible Unternehmensdaten in die Cloud gehen. Lokale KI mit Ollama löst beide Probleme: einmalige Hardware-Kosten, keine laufenden API-Kosten, alle Daten bleiben im Unternehmen.

Dieser Artikel richtet sich an Unternehmerinnen und Unternehmer, Kleinunternehmer nach der Kleinunternehmerregelung, Gewerbetreibende, Kleingewerbe-Inhaber, IT-Verantwortliche und Entscheider, die lokale KI im Unternehmen einführen wollen. Du solltest verstehen, was lokale KI ist und wie Ollama funktioniert.

Warum brauche ich lokale KI im Unternehmen?

Stell Dir vor, Du führst ein kleines Unternehmen mit 15 Mitarbeitenden. Jeder nutzt ChatGPT für E-Mails, Dokumente und Recherche. Das kostet 300 Euro pro Monat, sensiblere Daten gehen an OpenAI, und Du hast keine Kontrolle. Mit lokaler KI kaufst Du einmalig einen Rechner für 2000-3000 Euro, installierst Ollama und Open WebUI, und alle nutzen lokale KI. Nach 10 Monaten hast Du die Kosten wieder drin, danach ist es kostenlos.

Lokale KI im Unternehmen kurz erklärt

Lokale KI im Unternehmen bedeutet, dass Du einen Rechner im Unternehmen aufstellst, auf dem Ollama läuft. Mitarbeitende greifen über Open WebUI im Browser auf die KI zu. Alle Daten bleiben im Unternehmen, es gibt keine API-Kosten, und Du hast volle Kontrolle.

Der Kerngedanke lautet: Einmal Hardware kaufen, dann kostenlos KI nutzen.

Für wen ist dieser Artikel gedacht?

Unternehmerinnen und Unternehmer, Kleinunternehmer und Kleingewerbe, die KI im Unternehmen einführen.
Gewerbetreibende und IT-Verantwortliche, die lokale KI aufsetzen und betreuen.
Entscheiderinnen und Entscheider, die Kosten und Datenschutz abwägen.
Mitarbeitende, die verstehen wollen, wie lokale KI im Unternehmen funktioniert.

Vorkenntnisse in KI und grundlegendem IT-Verständnis sind hilfreich.

Wichtige Begriffe

Lokale KI - KI auf eigener Hardware. Wann nützlich: für Datenschutz und Kostenkontrolle.
Ollama - Lokaler Modellserver. Wann nützlich: das KI-Backend.
Open WebUI - Chat-Oberfläche. Wann nützlich: Benutzeroberfläche für Mitarbeitende.
DSGVO - Datenschutz-Grundverordnung. Wann nützlich: warum lokale KI bei Compliance hilft.
Docker - Container-Plattform. Wann nützlich: um Ollama und Open WebUI zu betreiben.
Proxmox VE - Virtualisierungs-Plattform. Wann nützlich: für mehrere Dienste auf einem Server.
RAG - Retrieval-Augmented Generation. Wann nützlich: für unternehmensinternes Wissen.

Use Cases für lokale KI im Unternehmen

1. E-Mail-Assistent

Mitarbeitende nutzen KI, um E-Mails zu entwerfen, zu korrigieren und zu übersetzen. Lokal, ohne dass E-Mail-Inhalte das Unternehmen verlassen.

2. Dokumentenzusammenfassung

Lange Dokumente (Verträge, Berichte, Spezifikationen) werden zusammengefasst. Mitarbeitende sparen Zeit beim Lesen.

3. Kundenservice

Ein FAQ-Bot beantwortet häufige Kundenfragen, basierend auf internem Wissen. Lokal, ohne dass Kundendaten in die Cloud gehen.

4. Wissensmanagement

Ein interner Wissensbot durchsucht unternehmensinterne Dokumente und beantwortet Fragen. Mit RAG wird das Modell mit internem Wissen erweitert.

5. Übersetzung

Mitarbeitende übersetzen Texte in andere Sprachen. Lokal, ohne dass sensible Texte in die Cloud gehen.

6. Code-Unterstützung

Entwickelnde nutzen lokale Coding-Modelle für Code-Vorschläge und Code-Review. Lokal, ohne dass Code in die Cloud geht.

Datenschutz und DSGVO

Lokale KI ist für DSGVO-konforme KI-Nutzung ideal:

Keine Datenabfluss: Alle Daten bleiben im Unternehmen.
Keine Cloud-Provider: Keine Weitergabe an Dritte.
Voller Kontrolle: Du entscheidest, was mit den Daten passiert.
Audit-Trail: Alle Zugriffe können protokolliert werden. Siehe Audit Logging.
Löschkonzept: Du kannst alle Daten jederzeit löschen.

Siehe Datenschutz für Details.

Kostenvergleich

Cloud-KI (ChatGPT Team)

Nutzer	Kosten pro Monat	Kosten pro Jahr
5	125 €	1500 €
10	250 €	3000 €
20	500 €	6000 €
50	1250 €	15000 €

Lokale KI

Komponente	Einmalige Kosten	Laufende Kosten/Monat
Rechner (RTX 4070, 32GB RAM)	1800 €	20 € (Strom)
Open WebUI (Open Source)	0 €	0 €
Ollama (Open Source)	0 €	0 €
Wartung (2h/Monat)	0 €	50 €
Gesamt	1800 €	70 €

Break-Even: Bei 10 Nutzern nach ca. 10 Monaten. Danach ist lokale KI kostenlos.

Siehe Lokale KI vs. API-Kosten für Details.

Hardware-Empfehlungen

Kleinunternehmen (1-10 Nutzende)

Komponente	Empfehlung	Preis
GPU	RTX 4070 12GB	500 €
CPU	Ryzen 5 / Intel i5	200 €
RAM	32GB DDR5	100 €
SSD	1TB NVMe	80 €
Gehäuse + Netzteil	Midi-Tower, 650W	150 €
Gesamt		1030 €

Modelle: 7B-13B (llama3.1:8b, qwen2.5:14b)

Mittleres Unternehmen (10-30 Nutzende)

Komponente	Empfehlung	Preis
GPU	RTX 4090 24GB	1800 €
CPU	Ryzen 7 / Intel i7	300 €
RAM	64GB DDR5	200 €
SSD	2TB NVMe	150 €
Gehäuse + Netzteil	Tower, 850W	200 €
Gesamt		2650 €

Modelle: 13B-32B (qwen2.5:32b, mistral:7b für schnelle Aufgaben)

Größeres Unternehmen (30+ Nutzende)

Komponente	Empfehlung	Preis
GPU	2x RTX 4090 24GB	3600 €
CPU	Ryzen 9 / Intel i9	500 €
RAM	128GB DDR5	400 €
SSD	4TB NVMe	300 €
Gehäuse + Netzteil	Server, 1200W	400 €
Gesamt		5200 €

Modelle: 32B-70B (qwen2.5:32b, llama3.1:70b mit Quantisierung)

Siehe VRAM-Rechner und Hardware-Konfigurator für Details.

Setup: Schritt für Schritt

1. Hardware aufbauen

Baue den Rechner mit GPU, CPU, RAM und SSD auf. Installiere Ubuntu Server oder Debian.

2. Ollama installieren

curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1

Siehe Ollama installieren für Details.

3. Open WebUI installieren

docker run -d \
  --name open-webui \
  -p 3000:8080 \
  -e OLLAMA_BASE_URL=http://localhost:11434 \
  -v open-webui-data:/app/backend/data \
  --restart unless-stopped \
  ghcr.io/open-webui/open-webui:main

Siehe Open WebUI für Details.

4. Benutzer anlegen

In Open WebUI: Admin → Benutzer → Benutzer hinzufügen. Jede Mitarbeitende bekommt ein Konto.

Siehe Open WebUI Mehrere Benutzer für Details.

5. Modelle laden

ollama pull llama3.1
ollama pull qwen2.5
ollama pull nomic-embed-text  # Für RAG

6. RAG einrichten (optional)

Für unternehmensinternes Wissen: RAG einrichten.

7. Sicherheit

Ollama nur lokal erreichbar (nicht ins Internet exponieren).
Open WebUI mit Passwort absichern.
Authentifizierung aktivieren.
Audit Logging aktivieren.

Praxisbeispiel: Steuerberatung

Eine Steuerberatung mit 8 Mitarbeitenden nutzt lokale KI:

E-Mail-Assistent: Entwürfe für Kunden-E-Mails.
Dokumentenzusammenfassung: Lange Steuerunterlagen zusammenfassen.
Übersetzung: Englische Dokumente übersetzen.
Wissensbot: Interne Steuerregeln durchsuchen.

Setup: Rechner mit RTX 4070 (1000 €), Ollama, Open WebUI. Alle Daten bleiben in der Kanzlei, DSGVO-konform.

Kosten: 1000 € einmalig, 70 €/Monat laufend. Gegen ChatGPT Team (200 €/Monat) amortisiert sich das nach 8 Monaten.

Praxisbeispiel: Software-Agentur

Eine Software-Agentur mit 20 Mitarbeitenden nutzt lokale KI:

Code-Unterstützung: Lokale Coding-Modelle für Vorschläge.
Code-Review: KI-gestützte Code-Review.
Dokumentation: KI-gestützte Dokumentation.
E-Mail-Assistent: Entwürfe für Kunden-E-Mails.

Setup: Rechner mit RTX 4090 (2700 €), Ollama, Open WebUI. Code bleibt im Unternehmen.

Kosten: 2700 € einmalig, 80 €/Monat laufend. Gegen ChatGPT Team (500 €/Monat) amortisiert sich das nach 6 Monaten.

Typische Stolpersteine

Falsche Hardware: Zu wenig VRAM für gewünschte Modelle. Nutze den VRAM-Rechner.
Keine Wartung: Jemand muss Ollama und Modelle aktualisieren. Plane Wartung ein.
Keine Schulung: Mitarbeitende müssen lernen, wie sie KI nutzen. Plane Schulung ein.
Sicherheit vergessen: Ollama ohne Authentifizierung ist ein Risiko.
Erwartungen zu hoch: Lokale Modelle sind nicht so gut wie GPT-4o. Kommuniziere das.
Kein Backup: Modelle und Konfiguration sollten gesichert werden. Siehe Backup.

Key Takeaways:

Lokale KI ist für KMU attraktiv: einmalige Hardware-Kosten, keine API-Kosten.
Datenschutz: Alle Daten bleiben im Unternehmen, DSGVO-konform.
Use Cases: E-Mail, Dokumente, Kundenservice, Wissensmanagement, Code.
Hardware: RTX 4070 für Kleinunternehmen, RTX 4090 für mittlere.
Break-Even nach 6-10 Monaten gegenüber Cloud-KI.

FAQ

Warum sollte ich lokale KI im Unternehmen nutzen?

Wegen Datenschutz (alle Daten bleiben im Unternehmen), Kosten (keine API-Kosten pro Nutzer) und Kontrolle (Du entscheidest, was mit den Daten passiert). Besonders für DSGVO-konforme KI-Nutzung ist lokale KI ideal.

Was kostet lokale KI im Unternehmen?

Einmalig 1000-3000 Euro für Hardware. Laufend 50-80 Euro pro Monat für Strom und Wartung. Keine API-Kosten, unabhängig von Nutzerzahl.

Wann amortisiert sich lokale KI?

Gegenüber Cloud-KI (ChatGPT Team) amortisiert sich lokale KI nach 6-10 Monaten, je nach Nutzerzahl. Danach ist sie kostenlos.

Ist lokale KI DSGVO-konform?

Ja. Bei lokaler KI bleiben alle Daten im Unternehmen. Es gibt keine Weitergabe an Cloud-Provider. Du hast volle Kontrolle und kannst Audit-Trails erstellen.

Welche Hardware brauche ich?

Für 1-10 Nutzende reicht ein Rechner mit RTX 4070 (12GB VRAM). Für 10-30 Nutzende empfiehlt sich RTX 4090 (24GB VRAM). Für 30+ Nutzende 2x RTX 4090.

Welche Modelle kann ich nutzen?

Mit 12GB VRAM: llama3.1:8b, qwen2.5:14b. Mit 24GB VRAM: qwen2.5:32b, mistral. Mit 48GB VRAM: llama3.1:70b (quantisiert).

Ist die Qualität gleich wie ChatGPT?

Nicht ganz. Große Cloud-Modelle (GPT-4o, Claude 3.5 Sonnet) sind oft besser. Aber lokale Modelle wie qwen2.5:32b oder llama3.1:70b sind für viele Unternehmensaufgaben ausreichend.

Wie viele Nutzende kann ich unterstützen?

Das hängt von der Hardware ab. Ein Rechner mit RTX 4090 kann 10-20 gleichzeitige Chats bedienen. Für mehr Nutzende brauchst Du stärkere Hardware oder mehrere Instanzen.

Wie viel Wartung braucht lokale KI?

Etwa 2-4 Stunden pro Monat: Updates für Ollama und Modelle, gelegentliche Fehlerbehebung, Backup. Jemand im Unternehmen sollte sich darum kümmern.

Kann ich unternehmensinternes Wissen nutzen?

Ja. Mit RAG (Retrieval-Augmented Generation) kannst Du interne Dokumente durchsuchbar machen. Der Wissensbot beantwortet Fragen basierend auf internen Dokumenten.

Quellen und weiterführende Literatur

Ollama - Lokaler Modellserver.
Open WebUI - Chat-Oberfläche.
DSGVO - Datenschutz-Grundverordnung.
Lokale KI vs. API-Kosten - Kostenvergleich.

Täglicher Artikel