基于官方文档和实验数据，HRM训练需要特别注意以下要点：
Preparação de dados
- 保持样本多样性（如数独训练使用数据增强技术）
- 控制样本规模在1000左右即可（过大可能引发过拟合）
训练策略
- 学习率设置：推荐初始值为7e-5（单GPU）或1e-4（多GPU）
- 早停机制：当验证准确率达到98%时应考虑停止
- 批大小控制：单GPU建议384（如RTX 4070）
问题规避
- 数值不稳定：添加梯度裁剪（阈值设为1.0）
- sobreajuste：使用权重衰减（推荐值1.0）
- <b]收敛困难：检查FlashAttention安装版本是否匹配GPU架构
典型训练表现：在RTX 4070上训练高难度数独模型约需10小时，8卡环境下可缩短至10分钟。准确率波动范围通常在±2%之间。
Essa resposta foi extraída do artigoHRM: modelos de raciocínio hierárquico para raciocínio complexoO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " 训练HRM模型有哪些注意事项？如何避免常见问题？
Português do Brasil 
简体中文 
English 
日本語 
Deutsch