针对多轮对话中的重复计算问题，LMCache提供如下解决方案：
- 启用键值缓存：在vLLM初始化时设置
KVTransferConfig(kv_connector='LMCacheConnector') - 配置存储策略：根据对话长度选择合适存储(短对话用GPU/CPU，长对话用磁盘/Redis)
- 调整缓存粒度: By
LMCACHE_CHUNK_SIZE参数设置256-512的token块大小 - 利用Redis持久化：对历史会话数据进行持久化存储，避免服务器重启后缓存失效
这种方案可以复用对话历史的中间计算结果，显著降低多轮问答场景的GPU计算量。
This answer comes from the articleLMCache: A Key-Value Cache Optimization Tool for Accelerating Reasoning on Large Language ModelsThe
May not be reproduced without permission:AI productivity tools " How to eliminate the problem of double counting in multi-round dialog systems?
English 
简体中文 
日本語 
Deutsch 
Português do Brasil