Histórico de requisitos
研究者常需要对比模型在不同物理领域(如力学vs量子力学)的表现差异,以发现知识迁移能力的局限性。
Metodologia de implementação
- 分领域评估
realizarevaluate.py --domain_split
参数,自动按学科分类统计准确率 - Comparação de visualizações
fazer uso devisualize.py --mode radar
生成雷达图,直观显示各领域差距 - 迁移分析
1. 先训练模型解决力学问题
2. 冻结部分层后测试电磁学表现
3. adoçãoanalysis/transfer_learning.py
计算知识迁移率
caso típico
项目示例中包含GPT-4与LLaVA的对比报告:
– 力学问题准确率差距≤8%
– 量子力学差距达22%,提示小模型对抽象概念理解存在瓶颈
Essa resposta foi extraída do artigoPhysUniBenchmark: ferramenta de benchmarking para problemas de física multimodalO