GraphGen verwendetErwarteter Kalibrierungsfehler(Expected Calibration Error, ECE) als zentralen technischen Index zur Quantifizierung der kognitiven Verzerrung des Modells. Der spezifische Implementierungsprozess ist in drei Phasen unterteilt:
- Prädiktive VertrauensanalyseWenn das Modell Knoten im Wissensgraphen abarbeitet, zeichnet das System das Vertrauen in die Antworten des Modells auf die entsprechenden Fragen auf.
- Überprüfung der GenauigkeitVergleichen Sie die Vorhersagen des Modells mit den Standardfakten im Wissensgraphen und berechnen Sie die tatsächliche Genauigkeitsrate
- Quantifizierung von FehlernDer Grad der Verzerrung wird mit der ECE-Formel (|Vertrauens-Genauigkeit| gewichteter Mittelwert) berechnet, in der Regel mit einer Standardschwelle von 0,1.
Der technologische Vorsprung spiegelt sich in:dynamisches MarkupDas System kennzeichnet Wissenspunkte mit ECE-Werten über dem Schwellenwert in Echtzeit;PrioritätensetzungImplementierung einer Gewichtung für hochfrequente Fehlererkennungspunkte;konfigurierbarErmöglicht Forschern die Anpassung der Schwellenempfindlichkeit über YAML-Dateien. Dieser quantitativ basierte Diagnoseansatz verbessert die Effizienz der herkömmlichen manuellen Annotation um etwa 801 TP3T.
Diese Antwort stammt aus dem ArtikelGraphGen: Feinabstimmung von Sprachmodellen mithilfe von Wissensgraphen zur Erzeugung synthetischer DatenDie
