已支持模型清单
- Meta系列:Llama-3-8B-Instruct、Llama-3.2-1B-Instruct
- 微软系列:Phi-3-mini-4k-instruct(特别优化版本)
扩展性说明
由于采用适配器机制,理论上支持任何基于Transformer的模型。当前限制主要来自:1) 需要重写src/kblam/models/
下的适配器代码 2) 模型隐藏层维度需与知识向量匹配。社区贡献的新模型适配正逐步合并。
技术路线图
据GitHub讨论区透露,下一步将支持:1) Mistral架构 2) 中文模型如Qwen 3) 多模态扩展。开发者可通过修改KeyValueEmbedder
类实现自定义集成。
本答案来源于文章《KBLaM:为大模型嵌入外部知识的开源增强工具》