海外访问：www.kdjingpai.com

Ctrl + D 收藏本站

当前位置：首页 » AI答疑

128k超长上下文支持是Tifa-Deepsex-14b-CoT的技术突破

2025-09-10

3.5 K

Tifa-Deepsex-14b-CoT通过三大技术创新实现128k token上下文窗口：

稀疏注意力优化：采用类Ring Attention的记忆管理算法，将长文本内存占用降低67%
分块处理机制：通过GGUF格式模型的分段加载技术，支持在消费级GPU(如24G显存)运行超长文本生成
上下文压缩：内置的语义关键帧提取模块可自动过滤冗余信息，实测在10万字输入时仍保持93%的关键信息保留率

该特性使模型在生成20章以上小说时，角色设定一致性比传统8k上下文模型提升4.3倍，成为目前中文领域最长上下文支持的创作型LLM。

本答案来源于文章《Tifa-Deepsex-14b-CoT：擅长角色扮演与超长小说生成的大模型》

相关文章

未经允许不得转载：AI生产力工具 » 128k超长上下文支持是Tifa-Deepsex-14b-CoT的技术突破

相关推荐