LMCache主要通过缓存和复用大语言模型（LLM）的中间计算结果——键值缓存（KV Cache）来提升推理效率。它采用以下关键技术：
- Key-Value Cache Reuse：存储模型计算生成的键值对，当遇到相同或部分重叠的文本输入时直接复用，避免重复计算。
- Multi-storage back-end support：灵活采用GPU显存、CPU内存、磁盘或Redis等存储介质，根据硬件资源自动优化缓存策略。
- 分布式缓存架构：支持跨多GPU或容器化环境共享缓存，尤其适合企业级大规模部署场景。
测试表明，与vLLM等推理引擎集成后，LMCache可实现3-10倍的延迟优化，特别在长上下文和多轮对话等场景效果显著。
This answer comes from the articleLMCache: A Key-Value Cache Optimization Tool for Accelerating Reasoning on Large Language ModelsThe
May not be reproduced without permission:AI productivity tools " How does LMCache significantly improve the efficiency of reasoning about large language models?
English 
简体中文 
日本語 
Deutsch 
Português do Brasil