Grundsätze der Verzögerungsoptimierung für DSM-Techniken
Die Delayed Stream Modelling (DSM)-Technologie von Kyutai erreicht durch eine innovative Streaming-Architektur eine Latenzzeit von 500 Millisekunden. Im Gegensatz zu herkömmlichen Batch-Modellen verwendet DSM eine zeitlich abgestimmte Verarbeitung von Audio- und Textströmen, bei der das Modell nach und nach Teiltextergebnisse generiert, während es den Audiostrom empfängt. Dieses Design vermeidet das Problem, dass man auf eine vollständige Audioeingabe warten muss, bevor die Verarbeitung beginnt.
Die technische Umsetzung umfasst drei Schlüsseltechniken: erstens eine dynamische Chunking-Strategie, die den Audiostrom auf der Grundlage der Erkennung semantischer Aktivitäten (VAD) intelligent aufteilt; zweitens einen inkrementellen Dekodierungsmechanismus, der den Dekodierungsprozess einleitet, sobald genügend Sprachmerkmale vorliegen; und schließlich eine Flush-Trick-Beschleunigungstechnik, die die verbleibende Verarbeitung sofort abschließen kann, wenn das Ende der Sprache erkannt wird, wodurch die Latenzzeit von 500 ms auf 125 ms verkürzt wird.
Die tatsächlichen Sprache-zu-Text-Testdaten zeigen, dass bei der Ausführung des 1B-Parameter-Modells auf dem L40S-Grafikprozessor die Echtzeit-Transkriptionslatenz für Englisch stabil im Bereich von 0,45 bis 0,55 Sekunden liegt, wobei die französische Verarbeitung mit etwa 0,6 Sekunden etwas höher ist. Diese Leistung kann bereits die Anforderungen der meisten Echtzeit-Dialogszenarien erfüllen.
Diese Antwort stammt aus dem ArtikelKyutai: Werkzeug zur Umwandlung von Sprache in Text in EchtzeitDie
