MaxKB采用开放的模型对接架构,主要支持三类模型接入:
- 公共云模型:包括OpenAI GPT系列、Anthropic Claude、智谱AI等国内外主流API
- 开源本地模型:支持Llama 3、ChatGLM3、Qwen等自托管模型通过Ollama或vLLM接入
- 企业专属模型:兼容兼容符合OpenAI API规范的任何本地化部署模型
配置本地私有模型的具体步骤:
- 在模型管理模块选择”自定义模型”选项
- 填写模型API地址(如http://localhost:11434/api/generate)
- 设置模型名称和上下文长度等参数
- 进行连通性测试后保存配置
系统还支持模型热切换和AB测试,可根据不同业务场景自动分配最合适的模型。例如客服场景可使用成本更低的7B小模型,而技术文档解析则可切换到70B参数的大模型。
本答案来源于文章《MaxKB:开箱即用的AI知识库问答系统,适合智能客服和企业内部知识库》