Skip to content
BotServBotServ
Offline-KIAir-GappedDSGVOSicherheitVertraulich

Offline-KI für vertrauliche Daten

Offline-KI für vertrauliche Daten. Air-Gapped Setup, DSGVO, sensible Branchen, Sicherheit und Praxisbeispiele.

S

schutzgeist

5 min read
Offline-KI für vertrauliche Daten

Offline-KI für vertrauliche Daten

Internet Relay Chat und Linux-FAQs

IRC-Mania Die Seite rund um Sicherheit und Programmierung

Internet, Sicherheit , Internet Relay Chat

Was dieser Artikel über Offline-KI für vertrauliche Daten behandelt

  • Wie Du KI vollständig offline betreibst, ohne Internetverbindung.
  • Wie Air-Gapped-Setups für maximale Sicherheit funktionieren.
  • Welche Branchen Offline-KI brauchen: Medizin, Recht, Finanzen, Behörden.
  • Wie Du Modelle offline installierst und aktualisierst.
  • Praxisbeispiele für sensible Anwendungsfälle.

Einleitung: Offline-KI für vertrauliche Daten verständlich erklärt

Manche Daten sind so sensibel, dass sie niemals das Unternehmen verlassen dürfen: Patientendaten, Mandantendaten, Finanzdaten, Verschlusssachen. Cloud-KI ist für diese Daten ausgeschlossen. Aber auch lokale KI, die noch Internet für Updates braucht, kann ein Risiko sein. Offline-KI geht einen Schritt weiter: Der Rechner hat keine Internetverbindung, alle Modelle werden offline installiert, alle Updates werden offline eingespielt.

Dieser Artikel richtet sich an Anwender, die KI für sensible Daten betreiben müssen. Du solltest verstehen, was lokale KI ist und wie Ollama funktioniert.

Warum brauche ich Offline-KI?

Stell Dir vor, Du bist Arzt und willst KI für Patientenunterlagen nutzen. Die Daten sind extrem sensibel und gesetzlich geschützt. Cloud-KI ist ausgeschlossen. Aber auch lokale KI, die noch Internet für Updates braucht, ist ein Risiko: Was, wenn ein Update-Skript sensible Daten sendet? Offline-KI schließt dieses Risiko aus: Der Rechner hat keine Internetverbindung, gar keine Möglichkeit, Daten zu senden.

Offline-KI für vertrauliche Daten kurz erklärt

Offline-KI ist lokale KI auf einem Rechner ohne Internetverbindung. Modelle werden offline installiert (USB-Stick), Updates werden offline eingespielt (USB-Stick), alle Daten bleiben auf dem Rechner. Es gibt keine Möglichkeit, Daten zu senden, weil keine Netzwerkverbindung existiert.

Der Kerngedanke lautet: Kein Netz, kein Datenabfluss.

Für wen ist dieser Artikel gedacht?

  • Ärztinnen und Ärzte, die KI für Patientendaten nutzen.
  • Anwältinnen und Anwälte, die KI für Mandantendaten nutzen.
  • Banken und Versicherungen, die KI für Finanzdaten nutzen.
  • Behörden, die KI für Verschlusssachen nutzen.
  • Sicherheits-Verantwortliche, die maximale Sicherheit brauchen.

Vorkenntnisse in lokaler KI und Sicherheit sind erforderlich.

Wichtige Begriffe

  • Offline-KI - KI ohne Internetverbindung. Wann nützlich: für maximale Sicherheit.
  • Air-Gapped - Rechner ohne Netzwerkverbindung. Wann nützlich: höchste Sicherheitsstufe.
  • Lokale KI - KI auf eigener Hardware. Wann nützlich: Basis für Offline-KI.
  • Ollama - Lokaler Modellserver. Wann nützlich: läuft offline.
  • Quantisierung - Reduzierung der Modellgröße. Wann nützlich: um Modelle auf begrenzter Hardware zu betreiben.
  • DSGVO - Datenschutz-Grundverordnung. Wann nützlich: warum Offline-KI hilft.
  • Audit Logging - Protokollierung. Wann nützlich: für Nachvollziehbarkeit.
  • Sandbox-Umgebungen - Isolierte Ausführung. Wann nützlich: zusätzliche Sicherheit.

Air-Gapped-Setup

Hardware

Ein Air-Gapped-Rechner hat:

  • Keine Netzwerkkarte (oder deaktiviert)
  • Kein WLAN
  • Kein Bluetooth
  • Nur lokale Anschlüsse (USB, Display, Tastatur)

Software

  • Ubuntu Server oder Debian (minimal)
  • Ollama (offline installiert)
  • Open WebUI (offline installiert)
  • Kein Internet, keine Cloud-Dienste

Installation

# Auf einem Rechner MIT Internet:
# 1. Ollama herunterladen
curl -fsSL https://ollama.com/install.sh -o ollama-install.sh

# 2. Modelle herunterladen
ollama pull llama3.1
ollama pull qwen2.5

# 3. Alles auf USB-Stick kopieren
cp ollama-install.sh /media/usb/
cp -r ~/.ollama /media/usb/ollama-models

# Auf dem Air-Gapped-Rechner:
# 1. USB-Stick einstecken
# 2. Ollama installieren
sudo bash /media/usb/ollama-install.sh

# 3. Modelle kopieren
cp -r /media/usb/ollama-models ~/.ollama

# 4. Netzwerk deaktivieren
sudo ip link set eth0 down
sudo ip link set wlan0 down

# 5. Ollama starten
ollama serve

Modelle offline verwalten

Modelle herunterladen (mit Internet)

# Auf einem Rechner mit Internet:
ollama pull llama3.1
ollama pull qwen2.5
ollama pull nomic-embed-text

# Modelle exportieren
ollama list  # Zeigt installierte Modelle

Modelle auf Air-Gapped-Rechner kopieren

# Modelle liegen in ~/.ollama/models/
# Auf den USB-Stick kopieren:
cp -r ~/.ollama/models /media/usb/

# Auf dem Air-Gapped-Rechner:
cp -r /media/usb/models ~/.ollama/models

Modelle aktualisieren (offline)

# Auf einem Rechner mit Internet:
ollama pull llama3.1  # Aktualisiert das Modell

# Neue Version auf USB-Stick
cp -r ~/.ollama/models/manifests /media/usb/

# Auf dem Air-Gapped-Rechner:
cp -r /media/usb/manifests ~/.ollama/models/

Praxisbeispiel 1: Arztpraxis

Eine Arztpraxis nutzt Offline-KI für Patientenunterlagen:

  • Dokumentenzusammenfassung: Lange Befunde zusammenfassen.
  • Anamnese-Unterstützung: KI hilft bei Anamnese-Gesprächen.
  • Übersetzung: Ausländische Befunde übersetzen.
  • Codierung: ICD-10-Codes vorschlagen.

Setup: Air-Gapped-Rechner mit RTX 4070 (12GB), Ollama, Open WebUI. Keine Internetverbindung, alle Patientendaten bleiben auf dem Rechner.

Sicherheit: Audit Logging für alle Zugriffe, Authentifizierung für alle Nutzenden, Verschlüsselung der Festplatte.

Praxisbeispiel 2: Anwaltskanzlei

Eine Anwaltskanzlei nutzt Offline-KI für Mandantendaten:

  • Dokumentenanalyse: Verträge analysieren, Risiken identifizieren.
  • Recherche: Internes Wissen durchsuchen (mit RAG).
  • Entwurf: Klageschriften und Schriftsätze entwerfen.
  • Übersetzung: Fremdsprachige Dokumente übersetzen.

Setup: Air-Gapped-Rechner mit RTX 4090 (24GB), Ollama, Open WebUI. Alle Mandantendaten bleiben in der Kanzlei.

Sicherheit: Audit Logging, Authentifizierung, Benutzer und Rollen für unterschiedliche Zugriffsrechte.

Praxisbeispiel 3: Behörde

Eine Behörde nutzt Offline-KI für Verschlusssachen:

  • Dokumentenzusammenfassung: Geheime Dokumente zusammenfassen.
  • Analyse: Muster in großen Datenmengen erkennen.
  • Übersetzung: Fremdsprachige Dokumente übersetzen.

Setup: Air-Gapped-Rechner in einem sicheren Raum, ohne jegliche Netzwerkverbindung. Modelle werden über geprüfte USB-Sticks eingespielt.

Sicherheit: Höchste Sicherheitsstufe. Physische Sicherheit, Zugangsbeschränkung, Audit-Trail für jeden Zugriff.

Sicherheitshinweise

  • Keine Internetverbindung: Der Rechner darf keine Netzwerkverbindung haben.
  • USB-Sticks prüfen: USB-Sticks können Malware übertragen. Prüfe Sticks auf einem separaten Rechner.
  • Verschlüsselung: Verschlüssele die Festplatte (LUKS).
  • Audit Logging: Protokolliere alle Zugriffe.
  • Authentifizierung: Jede:r Nutzende braucht ein Konto.
  • Physische Sicherheit: Rechner in einem gesicherten Raum.
  • Backup: Sichere Daten auf einem verschlüsselten externen Laufwerk.
  • Regelmäßige Updates: Auch offline müssen Modelle und Software aktualisiert werden.

Typische Stolpersteine

  • Doch Internetverbindung: Ein vergessener WLAN-Stick oder Bluetooth-Adapter reicht, um die Sicherheit zu kompromittieren.
  • USB-Stick nicht geprüft: USB-Sticks können Malware übertragen. Prüfe jeden Stick.
  • Kein Backup: Wenn der Rechner ausfällt, sind alle Daten weg. Sichere regelmäßig.
  • Keine Verschlüsselung: Bei Diebstahl sind die Daten ungeschützt.
  • Updates vergessen: Auch offline müssen Modelle aktualisiert werden, um Sicherheitslücken zu schließen.
  • Zu große Modelle: Air-Gapped-Rechner haben oft begrenzte Hardware. Nutze Quantisierung.

Key Takeaways:

  • Offline-KI ist lokale KI ohne Internetverbindung.
  • Air-Gapped: Kein Netz, kein Datenabfluss.
  • Branchen: Medizin, Recht, Finanzen, Behörden.
  • Modelle werden offline über USB-Stick installiert.
  • Sicherheit: Verschlüsselung, Audit Logging, Authentifizierung, physische Sicherheit.

FAQ

Was ist Offline-KI?

Offline-KI ist lokale KI auf einem Rechner ohne Internetverbindung. Modelle werden offline installiert, alle Daten bleiben auf dem Rechner. Es gibt keine Möglichkeit, Daten zu senden.

Was bedeutet Air-Gapped?

Air-Gapped bedeutet, dass ein Rechner keine Netzwerkverbindung hat. Kein Ethernet, kein WLAN, kein Bluetooth. Nur lokale Anschlüsse wie USB.

Wie installiere ich Modelle offline?

Lade die Modelle auf einem Rechner mit Internet herunter (ollama pull), kopiere sie auf einen USB-Stick, und kopiere sie auf dem Air-Gapped-Rechner in das Ollama-Verzeichnis.

Wie aktualisiere ich offline?

Lade Updates auf einem Rechner mit Internet herunter, kopiere sie auf USB-Stick, und installiere sie auf dem Air-Gapped-Rechner. Prüfe den USB-Stick vorher auf Malware.

Welche Branchen brauchen Offline-KI?

Medizin (Patientendaten), Recht (Mandantendaten), Finanzen (Finanzdaten), Behörden (Verschlusssachen), Forschung (sensible Forschungsdaten).

Wie sicher ist Offline-KI?

Sehr sicher, wenn richtig umgesetzt. Keine Internetverbindung bedeutet keinen Datenabfluss. Zusätzlich sollten Festplatte verschlüsselt, Audit Logging aktiviert und physische Sicherheit gewährleistet sein.

Sind USB-Sticks gefährlich?

Ja, USB-Sticks können Malware übertragen. Prüfe jeden USB-Stick auf einem separaten Rechner mit Virenscanner, bevor Du ihn an den Air-Gapped-Rechner anschließt.

Wie sichere ich Daten auf einem Air-Gapped-Rechner?

Auf einem verschlüsselten externen Laufwerk. Das Backup sollte ebenfalls air-gapped sein, also nicht mit dem Internet verbunden.

Welche Modelle kann ich offline nutzen?

Alle GGUF-Modelle, die Ollama unterstützt. Mit 12GB VRAM: llama3.1:8b. Mit 24GB VRAM: qwen2.5:32b. Nutze Quantisierung für größere Modelle auf begrenzter Hardware.

Ist Offline-KI DSGVO-konform?

Ja. Bei Offline-KI bleiben alle Daten auf dem Rechner. Es gibt keine Datenübertragung an Dritte. Das ist die maximale DSGVO-Konformität.

Quellen und weiterführende Literatur

VPS Hosting Angebot

Premium VPS Hosting

Schnelle und sichere VPS Server

Zurück zum KI Blog
Share:

Ähnliche Beiträge