LMCache特别适合以下三类典型应用场景：
- Multicast-Frage-Antwort-System：通过缓存对话历史中的键值对，当用户连续提问涉及相同上下文时（如客服机器人），能显著减少重复计算。
- Retrieval Augmentation Generation (RAG)：针对知识库文档的相似查询，缓存文档编码的键值对可快速响应，典型案例包括企业智能搜索和文档问答系统。
- multimodale Inferenz：对视觉-语言混合模型，同时缓存图像特征和文本特征的键值对，有效降低GPU内存占用（如医疗影像报告生成场景）。
根据官方测试，在输入token重复率超过30%的场景中，LMCache通常能带来5倍以上的吞吐量提升。
Diese Antwort stammt aus dem ArtikelLMCache: Ein Key-Value-Cache-Optimierungswerkzeug zur Beschleunigung von Schlussfolgerungen auf großen SprachmodellenDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " In welchen spezifischen Szenarien ist LMCache am besten optimiert?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil