Hintergrund des Themas
在医疗、法律等专业领域，高质量中文SFT数据难以获取。DeepSeek-R1数据集虽以通用数据为主，但可通过特定方法实现知识迁移。
Verschreibung
- 两阶段训练法：
- 先用全量110K数据训练基础语义理解能力
- 再用领域少量数据（5-10%）进行定向微调
- 数据增强：
- 对知乎类数据替换领域关键词（如
Gesetzgebung
→刑法
) - 使用数据集的逻辑推理模板生成领域问答对
- 对知乎类数据替换领域关键词（如
- 混合训练：将蒸馏数据与ClueAI/Chinese-RLHF等开源数据按6:4比例混合
Überprüfung der Effektivität
在医疗咨询任务中测试显示，该方法能使小样本（<500条）微调的效果提升37%，关键指标包括：意图识别准确率、专业术语使用恰当率。
Diese Antwort stammt aus dem ArtikelChinesischer Vollblut-DeepSeek-R1-Destillationsdatensatz, unterstützt chinesischen R1-Destillations-SFT-DatensatzDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " 怎样解决垂类领域中文数据稀缺导致SFT效果不佳的问题？
Deutsch 
简体中文 
English 
日本語 
Português do Brasil