消除文本重复的4步方案
针对Tifa-Deepsex-14b-CoT可能出现的重复生成问题,可采取以下综合措施:
- Auswahl der Version:首选Tifa-Deepsex-14b-CoT-Chat版本,因其包含30K DPO数据专项训练用于防重复
- 参数组合::
Parameter empfohlener Wert entspricht Englisch -ity, -ism, -ization repeat_penalty 1.2-1.5 惩罚重复token oben_k 40 增加采样多样性 top_p 0.95 平衡质量与多样性 - Stichwort Technik:在系统提示中加入明确指令,例如:
"请避免重复使用相同的句式结构和形容词,保持词汇多样性"
- Aufbereitungsmethoden:开发基于余弦相似度的过滤脚本,当连续段落相似度>0.7时自动触发重生成,可使用sentence-transformers库实现
Diese Antwort stammt aus dem ArtikelTifa-Deepsex-14b-CoT: ein großes Modell, das sich auf Rollenspiele und die Erstellung ultralanger Fiktion spezialisiert hatDie