如何解决多模态模型训练时数据不足的问题？

2025-08-29

1.2 K

解决方案：利用 MM-EUREKA 的数据高效训练特性

传统多模态模型需要数百万数据样本才能达到理想效果，而 MM-EUREKA 通过以下方法突破这一限制：

基于规则的强化学习：系统将文本推理规则迁移到视觉领域，减少对原始数据的依赖。实际应用中，只需在配置文件中设置 use_rules=True 即可激活该功能
小样本优化技术：项目提供的 8B/38B 模型经过特殊设计，使用 8K-54K 数据即可训练：
1. 下载官方提供的 MM-Eureka-Dataset
2. modifications config.yaml hit the nail on the head few_shot: 8000 parameters
3. (of a computer) run train.py when adding --few_shot symbolize
数据增强方案::
- 在 JSONL 数据中对图像添加旋转、裁剪等变换（需修改预处理代码）
- 通过文本改写生成多样化的问题描述

Implementation of recommendations：首次尝试时建议组合使用规则引擎+8K 数据样本，待效果稳定后再扩展数据规模。