KittenTTS: Ein leichtgewichtiges Text-to-Speech-Modell

KittenTTS ist ein quelloffenes Text-to-Speech (TTS)-Modell, das auf Leichtigkeit und Effizienz ausgerichtet ist. Es benötigt weniger als 25 MB Speicherplatz, hat etwa 15 Millionen Parameter und läuft auf Low-End-Geräten ohne GPU-Unterstützung. KittenTTS wurde vom KittenML-Team entwickelt und bietet eine breite Palette an hochwertigen Sprachoptionen mit schnellen Generierungsgeschwindigkeiten, die für eingebettete Geräte und Offline-Szenarien geeignet sind. Benutzer können es mit einfachem Python-Code schnell integrieren und einsetzen. Das Modell wird unter der Apache-2.0-Lizenz veröffentlicht, die eine kommerzielle Nutzung erlaubt und für Entwickler geeignet ist, die Sprachanwendungen in ressourcenbeschränkten Umgebungen entwickeln. Im Vergleich zu anderen TTS-Modellen bietet KittenTTS eine hohe Leistung bei gleichzeitig geringem Platzbedarf und ist damit ideal für eine leichtgewichtige Sprachsynthese.

Funktionsliste

• Bietet eine Vielzahl von hochwertigen voreingestellten Stimmen, um den Anforderungen verschiedener Szenarien gerecht zu werden.
• Unterstützung der schnellen Text-zu-Sprache-Umwandlung zur Erzeugung von Audiodateien.
• Die Größe des Modells beträgt weniger als 25 MB und ist damit für Low-End-Geräte und Edge Computing geeignet.
• Läuft effizient auf der CPU allein, keine GPU erforderlich.
• Bietet eine Python-API zur Vereinfachung der Modellintegration und des Aufrufs.
• Unterstützt die Offline-Bereitstellung zum Schutz des Datenschutzes.
• Open Source und unter der Apache-2.0-Lizenz, kommerzielle Nutzung ist erlaubt.

Hilfe verwenden

Einbauverfahren

KittenTTS ist einfach zu installieren und eignet sich für Python-Entwickler, um schnell loszulegen. Hier sind die detaillierten Schritte zur Installation und Verwendung:

1. Erstellen einer virtuellen Umgebung
   Um Abhängigkeitskonflikte zu vermeiden, empfiehlt es sich, zunächst eine virtuelle Python-Umgebung zu erstellen. Öffnen Sie ein Terminal und führen Sie den folgenden Befehl aus:

   python -m venv kitten_env
   source kitten_env/bin/activate  # 在 Windows 上使用 kitten_env\Scripts\activate
   

2. Installation von KittenTTS
   KittenTTS bietet vorkompilierte Wheel-Dateien und ist sehr einfach zu installieren. Führen Sie den folgenden Befehl aus, um es von der GitHub-Release-Seite herunterzuladen und zu installieren:

   pip install https://github.com/KittenML/KittenTTS/releases/download/0.1/kittentts-0.1.0-py3-none-any.whl
   

   Der Installationsprozess lädt automatisch Modellabhängigkeiten herunter, und der erste Lauf lädt Modellgewichte von Hugging Face (KittenML/kitten-tts-nano-0.1).

3. Überprüfen der Installation
   Sobald die Installation abgeschlossen ist, können Sie mit dem folgenden Code überprüfen, ob das Modell korrekt geladen wurde:

   from kittentts import KittenTTS
   import soundfile as sf
   # 初始化模型
   tts = KittenTTS()
   print("KittenTTS model loaded successfully!")
   

Hauptfunktionen

Die Hauptfunktion von KittenTTS ist die Umwandlung von Text in Sprache. Nachfolgend finden Sie eine detaillierte Beschreibung der Funktionsweise:

1. die Erzeugung von Audiodateien

KittenTTS unterstützt die schnelle Umwandlung von Eingabetext in Audiodateien. Hier ist ein einfaches Python-Beispiel:

from kittentts import KittenTTS
import soundfile as sf
# 初始化模型
tts = KittenTTS()
# 输入文本
text = "你好，欢迎使用 KittenTTS，这是一个轻量级的文本转语音模型。"
# 生成语音
audio, sample_rate = tts.generate(text)
# 保存音频文件
sf.write("output.wav", audio, sample_rate)
print("音频文件已保存为 output.wav")

Nach der Ausführung erzeugt das Programm eine output.wav Datei, die den Sprachinhalt des Eingabetextes enthält.

2. die Auswahl der voreingestellten Stimmen

KittenTTS bietet eine große Auswahl an voreingestellten Stimmen mit Parametern, die es dem Benutzer ermöglichen, verschiedene Sprachstile auszuwählen. Zum Beispiel:

tts = KittenTTS(voice="male_clear")  # 选择清晰的男声
audio, sample_rate = tts.generate("这是一个测试文本。")
sf.write("male_output.wav", audio, sample_rate)

Die derzeit unterstützten Stimmoptionen können in der offiziellen Dokumentation oder auf der Seite Hugging Face Models eingesehen werden, insbesondere männliche und weibliche Stimmen, verschiedene Intonationen und mehr.

3. die Einstellung der Sprachparameter

KittenTTS unterstützt zwar keine ausgefeilte Intonationskontrolle (wie in Coqui XTTS-v2), aber der Benutzer kann die Sprechgeschwindigkeit und die Pausen indirekt durch Textinterpunktion und Segmentierung anpassen. Zum Beispiel:

text = "这是一个测试！我们希望，语音听起来更自然。"
audio, sample_rate = tts.generate(text)
sf.write("styled_output.wav", audio, sample_rate)

Interpunktion (z. B. Kommas, Ausrufezeichen) beeinflusst den Rhythmus und den Tonfall der Sprache.

4) Offline-Betrieb

KittenTTS unterstützt einen vollständigen Offline-Betrieb, der für netzlose Umgebungen geeignet ist. Beim ersten Durchlauf lädt das Modell die Gewichte herunter und speichert sie lokal, um anschließend Sprache zu erzeugen, ohne dass eine Internetverbindung erforderlich ist. Dies ist nützlich für eingebettete Geräte oder datenschutzsensible Szenarien.

Featured Function Bedienung

Leichter Einsatz

KittenTTS hat eine Modellgröße von nur 25 MB und eine Referenzanzahl von etwa 15 Millionen, was viel kleiner ist als traditionelle TTS-Modelle wie Piper oder XTTS-v2. Dies macht es geeignet für den Betrieb auf Low-End-Geräten wie dem Raspberry Pi. Beim Einsatz muss lediglich sichergestellt werden, dass das Gerät Python 3 und grundlegende Abhängigkeiten wie NumPy und PyTorch unterstützt. Es sind keine zusätzlichen GPUs oder komplexen Konfigurationen erforderlich.

Schnelle Erzeugung

KittenTTS ist extrem schnell. Community-Tests haben gezeigt, dass es etwa 19 Sekunden braucht, um 26 Sekunden Audio auf einem M1 Mac zu erzeugen. Benutzer können die Generierungsgeschwindigkeit mit dem folgenden Code testen:

import time
from kittentts import KittenTTS
tts = KittenTTS()
text = "这是一段测试文本，用于测量生成速度。"
start_time = time.time()
audio, sample_rate = tts.generate(text)
print(f"生成耗时: {time.time() - start_time} 秒")

Open Source und unternehmensfreundlich

KittenTTS verwendet die Apache-2.0-Lizenz, die es Entwicklern erlaubt, es in kommerziellen Projekten frei zu verwenden. Benutzer können KittenTTS direkt aus dem GitHub-Repository herunterladen (https://github.com/KittenML/KittenTTS) Zugang zum Quellcode, um das Modell zu ändern oder zu optimieren, damit es spezifischen Anforderungen gerecht wird.

caveat

• Stellen Sie sicher, dass die Python-Version 3.6 oder höher ist.
• Der erste Lauf erfordert eine Internetverbindung, um die Modellgewichte herunterzuladen, die anschließend offline verwendet werden können.
• KittenTTS konzentriert sich derzeit auf die englische Spracherzeugung, mit begrenzter Unterstützung für andere Sprachen. Für mehrsprachige Unterstützung sollten Sie Piper oder XTTS-v2 in Betracht ziehen.

Anwendungsszenario

1. Sprachinteraktion für eingebettete Geräte
   Durch seine geringe Größe und den CPU-Betrieb eignet sich KittenTTS für Smart-Home-Geräte, Roboter oder IoT-Geräte. Entwickler können das Modell in Geräte integrieren, um Benutzer mit Sprachaufforderungen oder Dialogen zu versorgen.
2. Ausbildung und Hilfsmittel
   In Bildungsszenarien erzeugt KittenTTS Sprachlesungen für Lernanwendungen. Zum Beispiel die Umwandlung von Lehrbuchinhalten in Audio, um sehbehinderten Schülern zu helfen oder um das Leseerlebnis zu verbessern.
3. Offline-Sprachanwendungen
   In netzlosen Umgebungen (z. B. in abgelegenen Gebieten oder in sicherheitssensiblen Szenarien) kann KittenTTS die Sprachsynthese für lokale Anwendungen wie Navigationsanweisungen oder Sprachassistenten bereitstellen.
4. Schnelles Prototyping
   Entwickler können mit KittenTTS schnell Prototypen von Sprachanwendungen erstellen, Sprachinteraktionen testen und Entwicklungszeit und Ressourcen sparen.

QA

1. Welche Sprachen werden von KittenTTS unterstützt?
   Gegenwärtig unterstützt es hauptsächlich die englische Spracherzeugung mit den besten Ergebnissen. Die Unterstützung für andere Sprachen ist begrenzt, Entwickler können auf das offizielle Update achten oder Piper und andere Modelle ausprobieren.
2. Benötigen Sie einen Grafikprozessor für den Betrieb?
   Nein. KittenTTS wurde für CPUs entwickelt und ist für den Betrieb auf Low-End-Geräten geeignet.
3. Wie wähle ich verschiedene Sprachstile?
   Initialisieren Sie das Modell mit dem voice Parameter gibt eine voreingestellte Stimme an, z. B. male_clear vielleicht female_soft. Spezifische Optionen finden Sie in der offiziellen Dokumentation.
4. Ist das Modell im Handel erhältlich?
   Ja, KittenTTS verwendet die Apache-2.0-Lizenz, die die freie Nutzung in kommerziellen Projekten erlaubt.
5. Wie lässt sich die Generierungsgeschwindigkeit optimieren?
   Die Verwendung kurzer Texte, die Vermeidung komplexer Zeichensetzung oder die Ausführung auf einer Hochleistungs-CPU können die Geschwindigkeit weiter erhöhen. Auch die Zwischenspeicherung von Modellgewichten kann die erste Ladezeit verkürzen.