长上下文技术实现
Jan-nano-128k通过创新的YARN位置编码技术,将原始Qwen3的上下文窗口从32k扩展到128k令牌。其rope-scaling参数采用动态调整策略,当处理超过40960个位置嵌入时自动启动3.2倍扩展因子。这种设计保证模型在分析长达500页的文档时,仍能维持98%以上的关键信息抽取准确率。
在金融报告分析的实际应用中,模型展现出对跨页数据关联的出色理解能力。测试案例显示,输入80k令牌的上市公司年报后,Jan-nano-128k能准确归纳出各业务板块的营收占比变化趋势,其表现优于传统分块处理方法30%以上。
本答案来源于文章《Jan-nano:轻量高效的文本生成模型》