虽然MiniMind-V支持多图对话场景，但实际应用中需要特别注意以下技术细节：
数据构建规范
- 标注格式：多图数据需使用
sft_vlm_data_multi.jsonl，每条含2-4张图及对应对话 - 位置编码：输入文本需严格用196个
@@@占位符标记每个图像位置 - 样本平衡：建议单图/多图数据比例维持在20:1以上避免过拟合
模型训练技巧
- 渐进式训练：先单图预训练再引入多图微调（two-stage训练）
- 注意力优化：在LMConfig.py中调整
cross_attention_layers参数增强跨图理解 - 批次构建：多图场景建议batch_size≤2以防显存溢出
效果增强策略
- 特征融合：可修改
projection.py中的MLP层实现高级特征交互 - 后处理：对输出文本进行基于规则的校验（如图片索引校验）
- 评估指标：建议自定义图间关系准确率（IRA）等专用指标
实测表明，当前版本对超过3张图像输入的响应质量下降明显。如需工业级应用，建议在官方权重基础上进行业务数据增量训练。
本答案来源于文章《MiniMind-V：1小时训练26M参数视觉语言模型》
未经允许不得转载：AI生产力工具 » 使用MiniMind-V进行多图对话训练时需要注意哪些关键技术点？
简体中文 
English 
日本語 
Deutsch 
Português do Brasil