Jan: Offline-KI-Client für Desktop

Was dieser Artikel über Jan behandelt

• Was Jan ist und wie der Desktop-Client für lokale KI funktioniert
• Wie Du Jan auf Windows, macOS und Linux installierst
• Wie Du Modelle lädst, chattest und den API-Server nutzt
• Wie sich Jan von LM Studio und Ollama unterscheidet
• Welche Stolpersteine es gibt und wie Du sie vermeidest

Einleitung: Jan verständlich erklärt

Jan ist ein Open-Source Desktop-Client für lokale KI. Er erlaubt Dir, grosse Sprachmodelle direkt auf Deinem Rechner laufen zu lassen, ohne dass Daten an einen Cloud-Dienst geschickt werden. Du lädst ein Modell im GGUF-Format, öffnest einen Chat und legst los. Alles passiert offline auf Deiner Hardware.

Wer sich das erste Mal mit lokaler KI beschäftigt, steht oft vor einer Frage: Brauche ich überhaupt ein grafisches Programm, oder reicht die Kommandozeile? Jan richtet sich an Nutzerinnen und Nutzer, die eine einfach bedienbare Oberfläche möchten. Du musst kein Terminal öffnen, um ein Modell zu starten. Du klickst durch den integrierten Model Hub, lädst eine Datei herunter und chattest im selben Fenster.

In diesem Artikel erfährst Du, wie Jan aufgebaut ist, welche Funktionen es bietet und wo die Grenzen liegen. Wenn Du noch nie mit lokaler KI gearbeitet hast, lies zuerst unseren Überblick zu Was ist lokale KI?. Für den breiteren Kontext lohnt sich auch die Übersicht der Lokale KI Software.

Warum brauche ich Jan?

Stell Dir vor, Du möchtest eine KI für private Notizen, für Code-Snippets oder für Entwürfe nutzen, die sensible Daten enthalten. Du willst nicht, dass diese Texte irgendwo auf einem Server landen. Gleichzeitig hast Du keine Lust, Dir ein komplexes Setup aus Python-Umgebungen und Kommandozeilen-Tools zusammenzubauen.

Genau hier kommt Jan ins Spiel. Du installierst eine Anwendung, startest sie und siehst eine Oberfläche, die an einen Chat-Client erinnert. Du lädst ein Modell, schreibst eine Nachricht und bekommst eine Antwort. Kein Cloud-Konto, keine API-Keys, keine Internetverbindung nötig, sobald das Modell heruntergeladen ist. Alles bleibt auf Deinem Rechner.

Wer sich tiefer mit der Thematik befassen will, findet in unserem Artikel LLM lokal betreiben weitere Hintergrundinformationen.

Jan kurz erklärt

Jan ist eine Desktop-Anwendung, die auf Electron basiert und lokal Sprachmodelle ausführt. Unter der Haube nutzt Jan eine Engine namens Cortex, die das Laden und Ausführen von Modellen übernimmt. Die Oberfläche bietet Dir einen Chat-Bereich, einen Modell-Browser und Einstellungen für Parameter wie Temperature oder Context-Länge.

Die wichtigsten Eigenschaften von Jan:

• Open Source unter der AGPL-Lizenz
• Läuft offline, sobald Modelle heruntergeladen sind
• Unterstützt das GGUF-Format für quantisierte Modelle
• Bietet einen lokalen API-Server, der mit der OpenAI-API kompatibel ist
• Erweiterbar durch Extensions

Für wen ist Jan gedacht?

Jan richtet sich an mehrere Gruppen:

• Einsteigerinnen und Einsteiger, die lokale KI ohne Kommandozeile ausprobieren möchten
• Datenschutzbewusste Nutzerinnen und Nutzer, die keine Daten an Cloud-Dienste senden wollen
• Entwicklerinnen und Entwickler, die einen lokalen API-Server für Prototypen benötigen
• Personen, die offline arbeiten müssen, etwa auf Reisen oder in abgesicherten Netzwerken

Wenn Du bereits Ollama nutzt und eine grafische Oberfläche dazu suchst, schau Dir auch Open WebUI an. Wer sich nicht zwischen grafischen Clients entscheiden kann, findet Vergleiche weiter unten in diesem Artikel.

Wichtige Begriffe rund um Jan

Begriff	Erklärung
Jan	Die Desktop-Anwendung, die Dir eine grafische Oberfläche für lokale KI bietet
GGUF	Ein Dateiformat für quantisierte Modelle, das Jan zum Laden von Modellen nutzt
Cortex	Die Engine unter der Haube von Jan, die Modelle lädt und ausführt
Thread	Eine einzelne Chat-Konversation in Jan, vergleichbar mit einem Chat-Verlauf
Model Hub	Der integrierte Katalog in Jan, aus dem Du Modelle herunterlädst
API Server	Ein lokaler Server in Jan, der eine OpenAI-kompatible Schnittstelle bereitstellt
Extension	Ein Plugin, das Funktionen wie weitere Model-Anbieter oder Tools ergänzt
System Prompt	Eine Anweisung zu Beginn eines Threads, die das Verhalten des Modells steuert
Context	Der Textbereich, den das Modell bei einer Anfrage berücksichtigen kann
Offline	Betrieb ohne Internetverbindung, nachdem Modelle heruntergeladen wurden

Für mehr Hintergrund zu Quantisierung und dem GGUF-Format lies unseren Artikel zur Quantisierung.

Installation

Jan lässt sich auf den drei grossen Betriebssystemen installieren. Die offizielle Download-Seite findest Du unter jan.ai.

Windows

1. Öffne jan.ai im Browser.
2. Lade den Windows-Installer herunter, eine Datei mit der Endung .exe.
3. Führe die Datei aus und folge dem Installationsdialog.
4. Starte Jan über das Startmenü.

macOS

1. Öffne jan.ai im Browser.
2. Lade die macOS-Version herunter, eine Datei mit der Endung .dmg.
3. Öffne die .dmg-Datei und ziehe Jan in den Programme-Ordner.
4. Starte Jan aus dem Programme-Ordner oder über Spotlight.

Linux

1. Öffne jan.ai im Browser.
2. Lade die passende Version herunter, entweder .AppImage oder .deb.
3. Für .AppImage: Mache die Datei ausführbar mit chmod +x jan.AppImage und starte sie.
4. Für .deb: Installiere mit sudo dpkg -i jan.deb.

Nach dem ersten Start siehst Du die Hauptoberfläche von Jan. Noch ist kein Modell geladen, das kommt im nächsten Schritt.

Modelle finden und laden

Jan bringt einen integrierten Model Hub mit. Du musst nicht im Internet nach Modell-Dateien suchen, sondern kannst direkt in der Anwendung stöbern.

So lädst Du ein Modell:

1. Klicke in der Seitenleiste auf den Bereich für Modelle.
2. Durchsuche die Liste der verfügbaren Modelle.
3. Wähle ein Modell aus, das zu Deiner Hardware passt. Für Einsteiger sind kleinere Modelle wie Llama 3.2 mit 3B Parametern ein guter Startpunkt.
4. Klicke auf Download und warte, bis die GGUF-Datei geladen ist.

Achte auf die Grösse der Modelle. Ein Modell mit 7B Parametern in einer moderaten Quantisierung benötigt mehrere Gigabyte an Speicherplatz und Arbeitsspeicher. Wenn Du unsicher bist, welche Hardware Du brauchst, hilft unser Artikel zu CPU vs. GPU.

Chat-Funktion

Nachdem ein Modell geladen ist, kannst Du direkt mit dem Chat beginnen.

1. Erstelle einen neuen Thread über die Schaltfläche in der Seitenleiste.
2. Wähle das geladene Modell aus dem Dropdown-Menü.
3. Optional: Trage einen System Prompt ein, um das Verhalten des Modells zu steuern.
4. Schreibe Deine Nachricht in das Eingabefeld und sende sie ab.

Jeder Thread speichert den Verlauf separat. Du kannst mehrere Threads parallel führen und zwischen ihnen wechseln. Der System Prompt gilt pro Thread, Du kannst also für verschiedene Aufgaben unterschiedliche Anweisungen hinterlegen.

Unter den Einstellungen eines Threads findest Du Parameter wie Temperature, Top P und die Context-Länge. Temperature steuert, wie kreativ die Antworten ausfallen. Ein niedriger Wert wie 0.1 erzeugt konservative Antworten, ein höherer Wert wie 0.8 führt zu mehr Variation.

API-Server

Jan bietet einen lokalen API-Server, der die OpenAI-API nachbildet. Das bedeutet, Du kannst Programme, die für die OpenAI-API geschrieben wurden, mit lokalen Modellen nutzen.

So aktivierst Du den API-Server:

1. Öffne die Einstellungen in Jan.
2. Gehe zum Bereich für den API-Server.
3. Aktiviere den Server.
4. Notiere Dir die Adresse, meist http://localhost:1337/v1.

In Deinem Programm setzt Du nun die Base-URL auf diese Adresse und trägst einen beliebigen API-Key ein, da Jan keine echte Authentifizierung verlangt. Ein Beispiel in Python mit der OpenAI-Bibliothek:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:1337/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="llama3.2-3b",
    messages=[
        {"role": "user", "content": "Erkläre Quantisierung in einem Satz."}
    ]
)

print(response.choices[0].message.content)

Dieser Aufruf läuft komplett lokal ab. Keine Daten verlassen Deinen Rechner.

Extensions

Jan ist durch Extensions erweiterbar. Extensions können neue Model-Anbieter hinzufügen, Tools anbinden oder die Oberfläche anpassen.

So nutzt Du Extensions:

1. Öffne die Einstellungen und gehe zum Bereich für Extensions.
2. Du siehst eine Liste der installierten und verfügbaren Extensions.
3. Aktiviere oder deaktiviere Extensions mit einem Klick.
4. Einige Extensions erfordern zusätzliche Konfiguration, etwa API-Keys für externe Dienste.

Typische Einsatzgebiete für Extensions:

• Model-Anbieter: Anbindung an Cloud-Dienste wie OpenAI, falls Du trotzdem Cloud-Modelle nutzen möchtest
• Tools: Web-Suche oder Code-Ausführung innerhalb des Chats
• Engine-Einstellungen: Feintuning der zugrundeliegenden Engine

Extensions machen Jan flexibel. Du startest lokal und erweiterst bei Bedarf, ohne die Anwendung zu wechseln.

Jan vs. LM Studio vs. Ollama

Jan ist nicht der einzige Client für lokale KI. Die beiden bekanntesten Alternativen sind LM Studio und Ollama. Hier ein Vergleich:

Eigenschaft	Jan	LM Studio	Ollama
Lizenz	Open Source (AGPL)	Proprietär, kostenlos	Open Source (MIT)
Oberfläche	Grafisch	Grafisch	Kommandozeile, optional WebUI
Modell-Format	GGUF	GGUF	GGUF (eigene Variante)
API-Server	Ja, OpenAI-kompatibel	Ja, OpenAI-kompatibel	Ja, OpenAI-kompatibel
Modell-Browser	Integriert	Integriert	Über CLI oder Bibliothek
Extensions	Ja	Nein	Begrenzt
Plattformen	Windows, macOS, Linux	Windows, macOS, Linux	Windows, macOS, Linux

Mehr Details zu den Alternativen findest Du in unseren Artikeln zu LM Studio und Ollama.

Die Wahl hängt von Deinen Vorlieben ab. Wenn Du Open Source bevorzugst und Extensions schätzt, ist Jan eine gute Wahl. Wenn Du eine besonders polished Oberfläche willst, schau Dir LM Studio an. Wenn Du lieber im Terminal arbeitest, ist Ollama die passende Option.

Beispiel: Erstes Modell in Jan

Hier ein konkreter Durchlauf, wie Du Dein erstes Modell in Jan zum Laufen bringst.

Schritt 1: Jan installieren

Lade Jan von jan.ai herunter und installiere es wie oben beschrieben.

Schritt 2: Ein Modell herunterladen

Öffne den Modell-Bereich in Jan. Suche nach einem kleinen Modell wie Llama 3.2 mit 3B Parametern. Wähle eine moderate Quantisierung wie Q4_K_M, die einen guten Kompromiss aus Grösse und Qualität bietet. Klicke auf Download und warte, bis die Datei vollständig geladen ist.

Schritt 3: Einen Thread erstellen

Klicke auf die Schaltfläche für einen neuen Thread. Gib dem Thread einen Namen, etwa “Erste Tests”. Wähle das soeben heruntergeladene Modell aus dem Dropdown-Menü.

Schritt 4: System Prompt setzen

Trage im Feld für den System Prompt eine Anweisung ein, zum Beispiel: “Du bist ein hilfreicher Assistent und antwortest auf Deutsch.”

Schritt 5: Chatten

Schreibe eine erste Nachricht in das Eingabefeld, zum Beispiel “Was kannst Du für mich tun?” und sende sie ab. Das Modell generiert eine Antwort. Je nach Hardware kann das einen Moment dauern.

Schritt 6: Parameter anpassen

Wenn die Antworten zu kreativ oder zu vorhersehbar sind, ändere den Temperature-Wert im Thread. Speichere die Einstellung und teste erneut.

Typische Stolpersteine bei Jan

Jan ist einfach zu bedienen, aber es gibt ein paar Punkte, die Einsteigerinnen und Einsteiger ausbremsen können.

1. Zuwenig Arbeitsspeicher: Modelle benötigen viel RAM. Ein 7B-Modell braucht mindestens 8 GB freien Arbeitsspeicher, besser mehr. Wenn Dein Rechner zu wenig hat, bricht der Prozess ab oder wird extrem langsam.

2. Falsche Modellgrösse: Ein grosses Modell wie 70B Parameter läuft auf einem normalen Rechner nicht sinnvoll. Starte mit kleinen Modellen und steigere Dich.

3. Keine GPU-Beschleunigung: Jan unterstützt GPU-Beschleunigung, aber Du musst sie aktivieren. Ohne GPU läuft das Modell auf der CPU, was deutlich langsamer ist.

4. Verwirrung um Quantisierungen: Die verschiedenen Q-Werte wie Q4, Q5 und Q8 verwirren Anfänger. Q4 ist kleiner und schneller, Q8 ist genauer aber grösser. Für den Anfang ist Q4_K_M eine sichere Wahl.

5. API-Server nicht aktiv: Wenn Du den API-Server nutzen willst, musst Du ihn in den Einstellungen einschalten. Viele Nutzerinnen und Nutzer erwarten, dass er standardmäßig läuft, was nicht der Fall ist.

6. Abhängigkeit vom Model Hub: Der Model Hub benötigt eine Internetverbindung. Wenn Du offline bist, kannst Du keine neuen Modelle herunterladen, nur bereits geladene nutzen.

7. Lange Ladezeiten: Beim ersten Start eines Modells lädt Jan die Datei in den Arbeitsspeicher. Das kann je nach Modellgrösse und Speichertyp mehrere Sekunden bis Minuten dauern. Das ist normal, kein Fehler.

8. Veraltete Jan-Version: Jan wird regelmässig aktualisiert. Eine alte Version kann Probleme mit neueren Modellen oder Engines haben. Halte Jan aktuell.

Hardware, Kosten und Sicherheit bei Jan

Hardware

Die Hardware-Anforderungen hängen vom Modell ab, das Du ausführen willst. Als Richtwerte:

• 3B-Modelle: 8 GB RAM, CPU reicht für moderate Geschwindigkeit
• 7B-Modelle: 16 GB RAM, eine GPU mit 8 GB VRAM beschleunigt deutlich
• 13B-Modelle und grösser: 32 GB RAM, eine GPU mit 16 GB VRAM oder mehr

Eine schnelle SSD hilft beim Laden der Modell-Dateien. Mehr zur Hardware findest Du in unserem Artikel zu CPU vs. GPU.

Kosten

Jan selbst ist kostenlos und Open Source. Du zahlst nichts für die Software. Die Kosten entstehen allein durch die Hardware, auf der Du Jan betreibst. Es fallen keine Cloud-Gebühren an, da alles lokal läuft.

Sicherheit

Da Jan offline arbeitet, bleiben Deine Daten auf Deinem Rechner. Das ist ein grosser Vorteil für sensible Inhalte. Beachte dennoch:

• Modelle können falsche oder erfundene Antworten liefern, prüfe wichtige Informationen.
• Extensions, die Cloud-Dienste anbinden, übertragen Daten nach aussen. Prüfe, welche Extensions Du aktivierst.
• Lade Jan nur von der offiziellen Seite jan.ai herunter, um manipulierte Versionen zu vermeiden.

Weiterführende Links und Infos zu Jan

• Offizielle Website: jan.ai
• Quellcode auf GitHub: github.com/menloresearch/jan
• Dokumentation: jan.ai/docs
• Community-Chat: Links findest Du auf der GitHub-Seite

Für weiterführende Themen rund um lokale KI:

• Was ist lokale KI?
• LLM lokal betreiben
• Quantisierung
• Ollama
• LM Studio
• Open WebUI

FAQ: Jan - Typische Fragen

Ist Jan kostenlos?

Ja, Jan ist Open Source unter der AGPL-Lizenz und kostenlos. Du zahlst nichts für die Software selbst.

Brauche ich Internet für Jan?

Für das Herunterladen von Modellen ja. Sobald ein Modell auf Deinem Rechner liegt, kannst Du Jan komplett offline nutzen.

Welches Modell soll ich als Erstes laden?

Für Einsteiger eignet sich ein kleines Modell wie Llama 3.2 mit 3B Parametern in der Quantisierung Q4_K_M. Es ist kompakt, läuft auf den meisten Rechnern und liefert brauchbare Ergebnisse.

Kann ich Jan statt der OpenAI-API nutzen?

Ja, Jan bietet einen lokalen API-Server, der die OpenAI-API nachbildet. Du kannst Programme, die für OpenAI geschrieben wurden, auf lokale Modelle umstellen.

Ist Jan besser als LM Studio?

Das hängt von Deinen Prioritäten ab. Jan ist Open Source und bietet Extensions, LM Studio hat eine etwas ausgereiftere Oberfläche. Beide sind gute Wahl für lokale KI.

Brauche ich eine GPU für Jan?

Nein, Jan läuft auch auf der CPU. Eine GPU beschleunigt die Generierung aber erheblich. Für kleine Modelle reicht die CPU, für grössere Modelle ist eine GPU empfehlenswert.

Kann ich mehrere Modelle gleichzeitig laden?

Ja, Du kannst mehrere Modelle in Jan herunterladen und zwischen ihnen wechseln. Gleichzeitig ausführen solltest Du nur eines, da jeder Ladevorgang Arbeitsspeicher verbraucht.

Wo speichert Jan die Modelle?

Jan speichert Modelle in einem lokalen Verzeichnis auf Deinem Rechner. Den genauen Pfad findest Du in den Einstellungen unter dem Bereich für Speicherorte.

Kann ich eigene GGUF-Dateien in Jan laden?

Ja, Du kannst GGUF-Dateien, die Du aus anderen Quellen hast, in Jan importieren. Lege die Datei im Modell-Verzeichnis ab oder nutze die Import-Funktion in der Oberfläche.

Wie aktualisiere ich Jan?

Jan prüft beim Start auf Updates und weist Dich hin. Du kannst auch manuell die neueste Version von jan.ai herunterladen und über die bestehende Installation installieren. Deine Modelle und Threads bleiben erhalten.

Ist Jan sicher für sensible Daten?

Ja, solange Du offline arbeitest und keine Cloud-Extensions aktivierst, bleiben alle Daten auf Deinem Rechner. Prüfe dennoch die Antworten auf Richtigkeit, da Modelle Fehler machen können.

Quellen und weiterführende Literatur

• Jan Documentation, jan.ai/docs
• GitHub Repository von Jan, github.com/menloresearch/jan
• Übersicht zu GGUF und Quantisierung, in unserem Artikel zur Quantisierung
• Vergleich lokaler KI-Tools, in unserer Übersicht zur Lokale KI Software