Kreative Aufmerksamkeitsarchitektur erklärt
Der innovative Rectangular Attention (RA)-Mechanismus von KBLaM speichert Wissensvektoren in separaten Gewichtsmatrizen, indem er die Schlüssel-Wert-Dimensionen entkoppelt. Im Gegensatz zu herkömmlichen Selbstbeobachtungsmechanismen erlaubt das Design, dass die Dimension des Wissensschlüssels (K) viel größer ist als die Dimension des Wissenswertes (V) (für die Experimente wurde ein Verhältnis von 2048:256 verwendet), wodurch eine "enge und tiefe" Wissensspeicherstruktur entsteht. Das technische Whitepaper zeigt, dass diese Architektur es dem Modell ermöglicht, eine schnelle Abfrage von mehr als 1 Million Wissensdatensätzen zu unterstützen, wobei die Latenzzeit für die Beantwortung von Abfragen auf weniger als 50 ms (A100-Umgebung) begrenzt ist und gleichzeitig ein 768-dimensionaler verborgener Zustand erhalten bleibt. Der Mechanismus verbessert nachweislich die Aufmerksamkeitsgenauigkeit von 191 TP3T gegenüber dem Standard-Transformer bei Aufgaben wie der Vorhersage chemischer Moleküleigenschaften, die eine präzise Abfrage von Fachwissen erfordern.
Diese Antwort stammt aus dem ArtikelKBLaM: Ein erweitertes Open-Source-Tool zur Einbettung von externem Wissen in große ModelleDie
Deutsch 
简体中文 
English 
日本語 
Português do Brasil