GraphGenは以下を使用する。予想される校正誤差(Expected Calibration Error：ECE）を、モデルの認知バイアスを定量化するための中核的な技術指標とした。具体的な実施プロセスは3段階に分けられる：
- 予測信頼度分析モデルが知識グラフのノードを処理するとき、システムは関連する質問に対するモデルの答えの信頼度を記録する。
- 精度検証モデルの予測を知識グラフの標準的事実と比較し、実際の的中率を計算する。
- エラーの定量化バイアスの程度はECE式（｜信頼度-精度｜加重平均）で計算され、通常デフォルトの閾値は0.1である。
技術的な優位性は次のようなところに反映されている：ダイナミックマークアップシステムは、ECE値が閾値を超えた知識ポイントにリアルタイムでフラグを立てる；優先順位付け高頻度のエラー知識点に対する重み付けを実装する；コンフィギュラブル研究者はYAMLファイルを介して閾値感度を調整できる。この定量ベースの診断アプローチは、従来の手作業によるアノテーションの効率を約801 TP3T向上させる。
この答えは記事から得たものである。GraphGen: 知識グラフを使って言語モデルを微調整し、合成データを生成するについて
