R1-Omni二次开发实施指南
进行定制化开发需要以下关键步骤:
- Fase de preparação de dados:按照官方JSON格式准备标注数据,需包含
video
路径和conversations
Modelos de diálogo - 模型微调方法:使用Explainable Multimodal Emotion Reasoning数据集(232样本)进行冷启动训练
- 功能扩展接口Modificação
inference.py
中的输出处理逻辑,增加自定义情感类别
详细开发流程:
- 克隆GitHub仓库并创建开发分支
- existir
config.json
中添加新情感标签(如新增"excited"
) - 准备至少100条包含新情感的视频-文本配对数据
- estar em movimento
python train.py --data_dir ./custom_data
preparação e ajuste fino
注意事项:当前公开训练数据有限,建议关注项目更新。RLVR训练需要MAFW和DFEW数据集(共15,306视频),可通过--rlvr
参数启用强化学习训练模式。
Essa resposta foi extraída do artigoR1-Omni: um modelo de código aberto para analisar emoções por meio de vídeo e áudioO