小样本训练解决方案
利用项目内置的三种应对策略:
- 数据增强:在SFT阶段启用
--augmentation mixup
参数进行语义扩展 - 迁移学习:Carregamento de modelos pré-treinados
--model_name_or_path Qwen/Qwen2.5-1.5B-Instruct
- 课程学习:existir
curriculum_learning.yaml
配置难度递增的任务序列
注意事项:建议初始阶段设置--batch_size 8
避免显存溢出,同时启用--use_peft
参数进行轻量化微调。可复用GAIA基准中的通用轨迹数据作为辅助训练集。
Essa resposta foi extraída do artigoOpenManus-RL: ajuste fino de modelos grandes para aprimorar o raciocínio e a tomada de decisões de corpos inteligentesO