针对多轮对话中的重复计算问题，LMCache提供如下解决方案：
- 启用键值缓存：在vLLM初始化时设置
KVTransferConfig(kv_connector='LMCacheConnector') - 配置存储策略：根据对话长度选择合适存储(短对话用GPU/CPU，长对话用磁盘/Redis)
- 调整缓存粒度: durch
LMCACHE_CHUNK_SIZE参数设置256-512的token块大小 - 利用Redis持久化：对历史会话数据进行持久化存储，避免服务器重启后缓存失效
这种方案可以复用对话历史的中间计算结果，显著降低多轮问答场景的GPU计算量。
Diese Antwort stammt aus dem ArtikelLMCache: Ein Key-Value-Cache-Optimierungswerkzeug zur Beschleunigung von Schlussfolgerungen auf großen SprachmodellenDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie lässt sich das Problem der Doppelzählung in Mehrrunden-Dialogsystemen beseitigen?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil