当前位置：首页 » AI答疑

vLLM CLI 的 LoRA 支持功能实现模型功能的动态扩展

2025-08-21

LoRA 适配器集成方案

vLLM CLI 创新性地实现了基础模型与 LoRA 适配器的动态绑定机制，允许用户在加载主模型的同时挂载多个适配器。此功能基于 HuggingFace PEFT 库实现，支持主流 LoRA 变体。

测试表明，该功能可使模型微调效率提升 60%，特别适用于：

操作时只需在 serve 命令后添加 –lora-adapters 参数即可激活此功能，工具会自动处理底层技术细节。