如何解决HRM训练中小样本过拟合问题？

2025-08-23

問題の背景

HRM虽然仅需1000训练样本，但在高难度数独等任务后期易出现过拟合，导致测试集性能波动达±2%。

データレベル::
- 使用–num-aug 1000参数进行数据增强
- 混合不同难度样本（如80%高难度+20%中难度）
トレーニング技術::
- 设置eval_interval=2000频繁验证
- 当连续3次验证准确率下降即停止训练
- 采用weight_decay=1.0增强正则化

通过W&B跟踪以下指标：
– train_loss与val_loss差距
– exact_accuracy变化曲线
– 权重分布直方图

この答えは記事から得たものである。HRM：複雑な推論のための階層的推論モデルについて