要求事項の背景
研究者はしばしば、知識を伝達する能力の限界を特定するために、異なる物理領域(例えば、力学と量子力学)におけるモデルの性能の違いを比較する必要がある。
実施方法
- サブエリア評価
はこびだすevaluate.py --domain_splitパラメータ、分野別精度の自動分類 - ビジュアライゼーションの比較
利用するvisualize.py --mode radarレーダーチャートを作成し、各分野のギャップを可視化する - 移動分析
1.まず力学的問題を解くためにモデルを訓練する。
2.いくつかの層の凍結後の電磁気的挙動のテスト
3.採用analysis/transfer_learning.py知識移転率の計算
典型例
プロジェクト例には、GPT-4とLLaVAの比較レポートも含まれている:
- 機械的問題 精度差 ≤ 8%
- 22%の量子力学的ギャップは、小さなモデルにおける抽象的概念の理解にボトルネックがあることを示唆している。
この答えは記事から得たものである。PhysUniBenchmark: マルチモーダル物理問題のベンチマークツールについて































