OpenVoice: Stimmen klonen mit lokaler Open-Source-KI

Was dieser Artikel behandelt

• Was OpenVoice von MyShell kann und wie die Zwei-Stufen-Technik funktioniert.
• Installation, Demo und die ersten eigenen Sprachausgaben.
• Die Stil-Kontrolle: Emotion, Akzent und Sprachrhythmus ändern.
• Die Grenze für deutschsprachige Nutzer und die Alternative XTTS.
• Recht und Ethik: Warum Stimmenklonen Einwilligung braucht.

Was OpenVoice ist

OpenVoice ist ein Open-Source-Projekt von MyShell, das Stimmenklonen auf die eigene Hardware bringt. Der Kern ist eine Zwei-Stufen-Technik: Eine normale Text-to-Speech-Engine erzeugt zuerst Audio in einer neutralen Basis-Stimme, und ein zweites Modell, der Tone Color Converter, legt die Stimmfärbung einer Referenz-Person darüber. Ergebnis: Der Text klingt, als hätte ihn die Referenz-Person gesprochen, und das Modell braucht dafür nur ein kurzes Audiosample von ihr.

Der Clou gegenüber anderen Klon-Tools ist die Stil-Kontrolle: OpenVoice trennt die Stimmfärbung von allem anderen. Du kannst dieselbe geklonte Stimme fröhlich, traurig, flüsternd oder mit anderem Rhythmus sprechen lassen, ohne die Stimme selbst zu verlieren. Das Projekt steht unter MIT-Lizenz, läuft komplett lokal und ist damit eine der wenigen freien Alternativen zu Cloud-Diensten wie ElevenLabs.

V1 und V2: Die Unterschiede

• OpenVoice V1 kam Anfang 2024 und unterstützte nur Englisch und Chinesisch. Der Tone Color Converter war die technische Neuerung: Stimmfärbung klonen, ohne das Basismodell neu zu trainieren.
• OpenVoice V2 verbesserte die Audioqualität deutlich und brachte Mehrsprachigkeit über MeloTTS, die ebenfalls zu MyShell gehört. Damit liefert V2 Basismodelle für Englisch, Spanisch, Französisch, Chinesisch, Japanisch und Koreanisch.

Die Grenze für deutsche Nutzer

Hier liegt der wichtigste Punkt für das deutsche Publikum: OpenVoice V2 unterstützt kein Deutsch als Basissprache. MeloTTS, das die Basis-Stimmen liefert, hat kein deutsches Modell. Das bedeutet konkret: Du kannst eine Stimme klonen, aber der Text muss auf einer der sechs unterstützten Sprachen ausgegeben werden, sonst klingt es falsch.

Für deutschsprachiges Voice Cloning ist der praktischere lokale Weg derzeit Coqui XTTS v2, das Deutsch unter siebzehn Sprachen unterstützt und ebenfalls Stimmen mit einem Referenzsample klont. Wer also deutsche Stimmen klonen will, sollte XTTS nehmen, wer Englisch oder eine der sechs V2-Sprachen braucht, findet in OpenVoice das schlankere Werkzeug. Für den allgemeinen Überblick über lokale Sprachausgabe hilft der Artikel zu Text-to-Speech-Modellen.

Installation

OpenVoice läuft am besten unter Linux oder WSL mit einer NVIDIA-GPU, es funktioniert aber auch auf CPU, nur deutlich langsamer:

git clone https://github.com/myshell-ai/OpenVoice.git
cd OpenVoice
conda create -n openvoice python=3.9
conda activate openvoice
pip install -e .

Danach die Checkpoints laden: V1 oder V2 von HuggingFace herunterladen und in das checkpoints- bzw. checkpoints_v2-Verzeichnis entpacken. Für V2 kommt noch pip install melotts für die Mehrsprachigkeit dazu. Die Installation zieht einige GB an Modell-Dateien, also ruhig Zeit lassen.

Die erste eigene Sprachausgabe

Der schnellste Weg ist die mitgelieferte Gradio-Demo:

python openvoice_app.py --share

Das startet eine Weboberfläche, in der Du Text eingibst, eine Referenz-Audiodatei hochlädst und die Parameter justierst. Für die eigene Einbindung sieht der Python-Code so aus:

from openvoice import se_extractor
from openvoice.api import BaseSpeakerTTS, ToneColorConverter

# 1. Stimmfärbung aus Referenz-Audio extrahieren
target_se, _ = se_extractor.get_se(
    "referenz.wav", tone_color_converter, vad=True
)

# 2. Text in Basis-Stimme ausgeben
base_speaker_tts.tts(
    "Dies ist ein Test.", "tmp.wav", speaker="default", language="English"
)

# 3. Referenz-Stimme darüber legen
tone_color_converter.convert(
    audio_src_path="tmp.wav",
    src_se=src_se,
    tgt_se=target_se,
    output_path="geklont.wav"
)

Das Referenz-Audio sollte zehn bis dreißig Sekunden saubere Sprache ohne Musik und Hintergrundrauschen sein. Je klarer die Quelle, desto präziser die Klonung.

Die Stil-Kontrolle

Was OpenVoice von den meisten Klon-Tools abhebt: Du kannst die emotionale Färbung und den Rhythmus ändern, ohne die Stimme zu verlieren. Über Parameter wie speed und über die Style-Steuerung in V1 für Englisch lassen sich Tonfall, Sprechtempo und Pausen verändern. Für V2 ist die Stil-Kontrolle schlanker, dafür ist die Audioqualität besser und die Sprachen sind mehr. In der Praxis heißt das: Einmal klonen, dann dieselbe Stimme für verschiedene Töne einsetzen, von ruhiger Erklärung bis energischem Pitch.

Praktische Anwendungsfälle

• Voiceover für Videos: Deine eigene Stimme für YouTube-Content nutzen, ohne jedes Mal neu aufzunehmen. Gerade für automatisierte Kanäle passt das gut zu YouTube-Automation ohne Gesicht.
• Hörbuch und Podcast: Lange Texte in der eigenen Stimme ausgeben lassen.
• Sprachassistent: Deine Stimme für den lokalen Assistenten verwenden, kombiniert mit lokalem Sprachassistent.
• Prototyping: Stimmen für Charaktere oder Demos testen, bevor ein Sprecher gebucht wird.
• Mehrsprachigkeit: Einmalige Referenz-Stimme für Ausgaben auf Englisch, Spanisch und den anderen V2-Sprachen nutzen.

Recht und Ethik beim Stimmenklonen

Das Wichtigste vorweg: Eine fremde Stimme ohne Einwilligung zu klonen, ist rechtlich problematisch und ethisch falsch. In Deutschland fällt die Stimme unter das Persönlichkeitsrecht, und geklonte Stimmen für Betrug, Falschmeldungen oder Rufschädigung sind strafbar. Selbst für private Experimente gilt: nur eigene Stimme oder mit ausdrücklicher Zustimmung. Wer OpenVoice produktiv nutzt, sollte die Ausgaben als KI-generiert kennzeichnen, und die Plattformen wie YouTube verlangen das teils ohnehin schon.

Häufige Fragen zu OpenVoice

Was kann OpenVoice?

OpenVoice klont die Stimmfärbung einer Person aus einem kurzen Audiosample und legt sie über Text-to-Speech-Ausgaben. Dazu kann es Stil, Emotion und Sprechtempo steuern, ohne die geklonte Stimme zu verlieren.

Unterstützt OpenVoice Deutsch?

Nein, und das ist die wichtigste Einschränkung. V2 unterstützt Englisch, Spanisch, Französisch, Chinesisch, Japanisch und Koreanisch. Für Deutsch ist Coqui XTTS v2 die bessere lokale Wahl.

Ist OpenVoice kostenlos?

Ja, das Projekt steht unter MIT-Lizenz und läuft komplett lokal. Kosten entstehen nur für die Hardware, und eine GPU beschleunigt den Vorgang deutlich.

Wie lange muss das Referenz-Audio sein?

Zehn bis dreißig Sekunden saubere Sprache reichen meist aus. Wichtig ist, dass die Aufnahme frei von Musik, Echo und Hintergrundgeräuschen ist, sonst vererben sich die Fehler in die Klonung.

Kann OpenVoice meine Stimme für YouTube nutzen?

Ja, und das ist einer der besten Anwendungsfälle: Einmal die eigene Stimme klonen, dann Skripte in Audio umwandeln, ohne jedes Mal neu aufzunehmen. Denke nur an die Kennzeichnungspflicht für KI-generierten Content.

Brauche ich eine GPU?

Nicht zwingend, aber stark empfohlen. Auf CPU läuft die Konvertierung, nur deutlich langsamer. Für regelmäßige Ausgaben oder Echtzeit-Anwendungen ist eine NVIDIA-GPU fast Pflicht.

Wie funktioniert die Stil-Steuerung?

OpenVoice trennt die Stimmfärbung von Stil-Parametern wie Emotion, Akzent, Tempo und Pausen. Dieselbe geklonte Stimme kann damit fröhlich, ruhig oder betont sprechen, ohne dass sie ihre Identität verliert.

Was ist der Unterschied zu ElevenLabs?

ElevenLabs ist ein Cloud-Dienst mit besserer Audioqualität und mehr Sprachen, inklusive Deutsch. OpenVoice ist kostenlos, lokal und quelloffen, aber begrenzt auf sechs Sprachen. Wer Datenschutz will, nimmt OpenVoice, wer Qualität und Deutsch braucht, ElevenLabs.

Ist Stimmenklonen legal?

Die eigene Stimme ja, fremde Stimmen nur mit Einwilligung. Die Stimme ist Persönlichkeitsrecht, und Missbrauch für Betrug oder Falschaussagen ist strafbar. Bei produktivem Einsatz sollte die KI-Herkunft gekennzeichnet werden.

Woran erkennt man die geklonte Ausgabe?

Die Qualität hängt stark vom Referenz-Audio ab, und in V1 und V2 merkt man bei genauem Hinhören meist die Maschinenherkunft. Für Podcasts und Videos reicht sie oft, für den professionellen Einsatz sind Cloud-Dienste derzeit noch einen Schritt weiter.

Kann ich die Stimme für meinen Assistenten nehmen?

Ja, wenn die Pipeline stimmt: OpenVoice für die Ausgabe, ein lokales STT für die Eingabe, ein LLM für die Antworten. Dann spricht Dein Assistent mit Deiner eigenen Stimme, lokal und ohne Cloud.

Was ist MeloTTS?

MeloTTS ist das Text-to-Speech-Modell von MyShell, das OpenVoice V2 die Basis-Stimmen liefert. Es deckt die sechs unterstützten Sprachen ab und ist der Grund, warum V2 mehrsprachig geworden ist, aber eben kein Deutsch enthält.

Wie schnell ist die Konvertierung?

Auf einer brauchbaren GPU geht es in wenigen Sekunden pro Abschnitt. Auf CPU kann es je nach Länge Minuten dauern. Für lange Texte empfiehlt es sich, sie in Absätze zu teilen und zu batch-en.

Gibt es Alternativen für Deutsch?

Ja: Coqui XTTS v2 für Voice Cloning mit Deutsch, Piper und eSpeak für schnelle lokale TTS ohne Klonen, und die Cloud-Alternativen ElevenLabs oder Cartesia für beste Qualität. OpenVoice bleibt die stärkste freie Option für seine Sprachen.

Wie oft wird OpenVoice aktualisiert?

Das Projekt hat mit V1 und V2 zwei größere Sprünge gemacht und bleibt aktiv, aber der Rhythmus ist nicht fest. Auf GitHub lohnt ein Blick in die Releases und Issues, um den aktuellen Stand zu prüfen.

Wann sich OpenVoice lohnt

OpenVoice ist das richtige Werkzeug, wenn Du Stimmenklonen lokal und kostenlos willst und die sechs unterstützten Sprachen ausreichen. Die Stil-Kontrolle macht es zum stärksten Open-Source-Angebot in seiner Klasse, aber die fehlende deutsche Basis ist die Grenze, die viele Leser hier betreffen wird. Wer Deutsch klonen will, geht zu XTTS, wer Englisch oder die anderen Sprachen braucht, bekommt mit OpenVoice ein MIT-lizenziertes Werkzeug, das auf eigener Hardware läuft und die Stimme dort belässt, wo sie hingehört: unter Deiner Kontrolle.