非侵入型モデル強化プログラム
KBLaMはAdapterデザインパターンを採用しており、ベースモデル(Llama-3、Phi-3など)のアテンションレイヤーに軽量なパラメータを追加するだけで、本来の言語理解・生成能力は変更しません。技術文書によると、アダプターのパラメータ数は、デフォルトの構成ではベースモデルの0.3%以下ですが、38%の知識クイズの精度向上をもたらすことができます。このローカップリングアーキテクチャは、事前学習済みモデルのコア機能を維持しながら、知識投影マトリックスによる知識検索を可能にします。マイクロソフト社から提供されたベンチマークテストによると、強化されたモデルは、一般的な知識科学クイズデータセット(ScienceQAなど)においてF1値0.81を達成し、オリジナルモデルより27ポイント向上しています。
この答えは記事から得たものである。KBLaM:大規模モデルに外部知識を埋め込むためのオープンソース拡張ツールについて