微调MegaPairs模型时需重点关注：
- hardware requirement: 需配备16GB+显存的GPU，推荐A100/V100等专业级显卡
- data format: 必须组织为（查询图,文本,目标图）三元组形式
- 版本匹配: 严格使用transformers==4.41.2版本，避免API兼容性问题
- training technique:
– 初始学习率建议设5e-6
– 采用cosine学习率衰减
– 添加Layer-wise梯度裁剪 - Assessment benchmarks: 优先使用CIRCO或MMEB进行效果验证
注意：当前微调代码尚未完全开源，可临时参考HuggingFace Trainer API实现，建议关注GitHub仓库的更新通知。
This answer comes from the articleMegaPairs: a new multimodal vector embedding model from BGEThe
May not be reproduced without permission:AI productivity tools " 使用MegaPairs进行模型微调需要特别注意哪些事项？
English 
简体中文 
日本語 
Deutsch 
Português do Brasil