怎样优化Tifa-Deepsex-14b-CoT在长篇小说生成中的情节连贯性？

2025-09-10

3.5 K

提升长篇情节连贯性的完整方案

Tifa-Deepsex-14b-CoT虽然支持128k上下文，但在实际使用中仍需要特定技巧来保证超长文本的质量：

分阶段写作法::
1. 首先生成500字大纲（提示词示例：”请为[题材]小说创作包含5个关键转折点的详细大纲”）
2. 逐章节生成时在提示词中包含前文摘要（如：”接续以下情节：[3句话摘要]，详细描写主角进入古墓的遭遇”）
硬件适配技巧::
- 使用Q4_K_M量化版本时，将上下文长度设置为8192而非最大值，以避免性能下降
- 在transformers加载时添加max_lengthParâmetros:
  model.generate(input_ids, max_length=8192, temperature=0.8)
后期校验工具：配合使用llama.cpp的--ctx-mmap参数实现长文本内存映射，或开发自定义的连贯性检查脚本，检测人物名称/时间线/地点的一致性