怎样实现跨语言场景下Qwen3微调模型的能力迁移？

2025-08-28

跨语言迁移实施方案

要实现模型的多语言能力扩展，可按三阶段推进：

Data preparation::
- 构建平行语料库（建议中英/中日等组合）
- existdata/目录新建multilingual.json，字段包含language_tag
混合训练::
- 保持原始模型词表，用SFT脚本添加--lang_loss_weight 0.3parameters
- 推荐batch内混合多语言样本（项目dataloader已支持）
能力验证::
- 交互测试时指定--language en等参数切换语言
- 使用BLEU等指标量化评估

注意事项：较小尺寸模型（1.7B）建议侧重单一语言对，4B以上模型可尝试多语言联合训练。