YuE leistet Pionierarbeit bei der Open-Source-Generierung von Songtexten für ganze Lieder
YuE stellt einen wichtigen Durchbruch in der aktuellen Technologie zur Musikgenerierung dar. Als Open-Source-Basismodell ist es das erste, das eine durchgängige Generierung von Songtexten bis hin zu ganzen Liedern ermöglicht. Während herkömmliche Musikgenerierungsmodelle oft nur kurze Clips oder reine Backing Tracks produzieren, ist YuE in der Lage, komplette Songs von bis zu mehreren Minuten Länge zu generieren, einschließlich Lead Vocals und vollständiger Backing Tracks.
Diese Innovation adressiert drei zentrale Herausforderungen im Bereich der Musik-KI: erstens das Problem der langen kontextuellen Kohärenz, die durch eine Bisektionstechnik und ein phasenweises Trainingsschema aufrechterhalten wird, um die Konsistenz der musikalischen Struktur zu bewahren; zweitens das Problem der Verzerrung des sprachlichen Inhalts, das eine natürliche Kombination von Text und Melodie durch die Verwendung von Lyrics-Chained-Thinking-Generierung gewährleistet; und drittens das Problem der Datenknappheit, das durch die Verwendung von semantisch erweiterten Audio-Disambiguatoren reduziert wird, um die Abhängigkeit von parallelen Daten zu verringern.
Der Open-Source-Charakter des Modells macht es sowohl für die wissenschaftliche Forschung als auch für kommerzielle Anwendungen äußerst wertvoll. Entwickler können das vortrainierte Modell direkt für die Erstellung sowie für sekundäre Entwicklungen auf der Grundlage des Open-Source-Codes verwenden, was für die Förderung der ökologischen Entwicklung von Musik-KI wichtig ist.
Diese Antwort stammt aus dem ArtikelYuE: Wandelt Liedtexte in ein Basismodell eines kompletten Songs um und unterstützt eine breite Palette von MusikstilenDie
