改善非亚洲人脸适配性的技术方案
由于Ghibli LoRA基于亚洲人脸训练,优化其他族裔生成效果需要:
1. 数据预处理技术
- 使用GFPGAN等人脸增强工具预处理输入图像
- 通过OpenCV调整面部关键点位置匹配训练数据分布
2. 模型融合方案
- 组合使用其他风格LoRA(如Disney风格)
- 在pipe调用时添加negative_prompt限制不想要的特征
3. 迁移学习方案
- 准备50-100张目标人种图像
- 使用LoRA训练脚本进行微调(需修改train_ghibli.py)
- 注意保持原始模型权重冻结
临时解决方案:
在线Demo中可尝试上传经过美颜处理的图像,削弱族裔特征差异
本答案来源于文章《EasyControl:将人像转为吉卜力风格图像的免费工具》