Das integrierte GPT-SoVITS-Sprachklonierungssystem von Linly-Talker bietet drei wesentliche technologische Vorteile:
- Effiziente ProbenanforderungenNur 1 Minute an Zielsprachdaten (klares und rauschfreies WAV-Format empfohlen) wird benötigt, um durch einen vergleichenden Lernalgorithmus Sprachmerkmale zu extrahieren.
- sprachenübergreifende UnterstützungVerwendet die Phonem-Ebene Feature-Entkopplungstechnologie, um das Klonen von gemischter chinesischer und englischer Sprache zu unterstützen, mit einer Reim-Retention von 92%.
- Optimierung der Argumentation in Echtzeit8-bit quantisiertes Modell beschleunigt mit TensorRT, Latenzzeit unter 400ms auf RTX 3060 Grafikkarte
Der spezifische Umsetzungsprozess umfasst:
1. nachdem der Benutzer ein Stimmprofil in die WebUI hochgeladen hat, führt das System automatisch eine Rauschunterdrückung und Merkmalsextraktion durch.
2. die Konstruktion eines Tonübergangsmodells über adversarische generative Netzwerke (GAN)
3. in Kombination mit einem auf Transformer basierenden Rhythmusprädiktor, um eine natürliche und flüssige synthetische Sprache zu erzeugen
Nach den Testdaten beträgt die Kosinus-Ähnlichkeit zwischen der geklonten Sprache und der Originalsprache im Durchschnitt bis zu 0,87, was deutlich besser ist als die traditionelle DNN-basierte Methode.
Diese Antwort stammt aus dem ArtikelLinly-Talker: Intelligentes Dialogsystem für digitale Menschen, das große Sprachmodelle und visuelle Modelle für neue interaktive Erlebnisse kombiniertDie
Deutsch 
简体中文 
English 
日本語 
Português do Brasil