Technische Umsetzung und Wert von ultralangen Kontexten
Das 128K-Kontextfenster, das von GLM-4.5 nativ unterstützt wird, ist der wichtigste technologische Durchbruch. Diese Fähigkeit wurde auf der Grundlage von Techniken der Positionsinterpolation und der Aufmerksamkeitsoptimierung implementiert und ermöglicht es dem Modell, technische Dokumente von mehr als 300 Seiten oder literarische Werke von mehr als 100.000 Wörtern vollständig zu verarbeiten. Verglichen mit der 32K-Beschränkung der gängigen Modelle ist die Genauigkeit beim Verstehen langer Texte um 37% verbessert.
In spezifischen Anwendungsszenarien bringt diese Funktion zwei wesentliche Vorteile mit sich: erstens das semantische Verständnis auf Dokumentenebene, wie z. B. die Wahrung der Konsistenz über Klauseln hinweg bei der Analyse von Rechtsverträgen, und zweitens die Zerlegung komplexer Aufgaben, wie z. B. die Wahrung der logischen Kohärenz bei der Umwandlung eines 100-seitigen technischen Handbuchs in ein Betriebsverfahren. Die Testdaten zeigen, dass bei der Needle-in-a-Haystack-Evaluierung die Informationsextraktionsgenauigkeit von GLM-4.5 am Ende eines 128-Kilometer-Textes 89% erreicht und damit die von ähnlichen Produkten wie Llama 3 weit übertrifft. In Verbindung mit der Fähigkeit zur strukturierten Ausgabe macht dies die Software zu einer idealen Wahl für die Verarbeitung langer Texte in Bereichen wie Finanzen und Recht.
Diese Antwort stammt aus dem ArtikelGLM-4.5: Open Source Multimodale Großmodelle zur Unterstützung intelligenter Schlussfolgerungen und CodegenerierungDie
