Tifa-Deepsex-14b-CoTの技術的ブレークスルーとなる128k超長文コンテキストのサポート

2025-09-10

3.6 K

Tifa-Deepsex-14b-CoTは、3つの主要な技術革新によって128kトークンコンテキストウィンドウを実現した：

スパース・アテンション最適化リングアテンション型メモリ管理アルゴリズムを用いた67%による長文メモリ使用量の削減
チャンキング・メカニズムGGUFフォーマットのモデルをセグメント化してロードすることで、コンシューマー向けGPU（24G RAMなど）での超長文テキスト生成をサポート。
コンテキスト圧縮内蔵のセマンティックキーフレーム抽出モジュールは、冗長な情報を自動的にフィルタリングし、93%のキー情報保持率を10万語の入力で維持します。

この機能により、20章以上の小説を生成する場合、従来の8kコンテクストモデルと比較して、文字設定の一貫性を4.3倍向上させることができ、現在の中国語領域で最も長いコンテクストをサポートするオーサリングLLMとなっている。

クイック照会ステーションAIツール