Technische Durchbrüche beim nonverbalen Ausdruck in Dia
Dia ist das erste System, das ein komplettes System zur Erzeugung nonverbaler Ausdrücke im Bereich der Sprachsynthese implementiert. Das System ist in der Lage, 12 gängige nonverbale Klangelemente wie Lachen, Pausen, Seufzen usw. durch eine spezielle Textmarkierungserkennungstechnologie genau zu analysieren und zu erzeugen.
Bei der technischen Umsetzung wird eine hierarchische neuronale Netzstruktur verwendet:
- Die semantische Analyseschicht erkennt spezielle Token wie (lachen) und (Pause)
- Akustische Modellierungsschicht erzeugt entsprechende Nicht-Sprach-Wellenformen
- Konvergierte Ausgabeschicht gewährleistet natürlichen Übergang zwischen Sprache und Nicht-Sprache
Tests in der Praxis zeigen, dass die Verbesserung der menschlichen Natürlichkeit (MOS) durch die Hinzufügung nonverbaler Ausdrücke 23,71 TP3T erreicht, was deutlich höher ist als bei ähnlichen Produkten. Typische Anwendungsfälle sind:
- Simulieren Sie den Ausdruck von Gefühlen in einem echten Dialog, z. B. [S1] Du bist so lustig! (Lachen)
- Erzeugen eines dramatischen Pauseneffekts, z. B. [S2] Ich habe beschlossen,... (Pause) Rücktritt
Damit ist Dia das Werkzeug der Wahl für die Produktion von naturgetreuen Dialoginhalten.
Diese Antwort stammt aus dem ArtikelDia: ein Text-to-Speech-Modell zur Erzeugung hyperrealistischer Multiplayer-DialogeDie
