LMCache：开源 KV 缓存管理层降低大模型重复请求成本（235B 在 H200 测试）

开源缓存系统 LMCache 通过缓存已计算的上下文，显著降低大模型推理成本与延迟，实测在 235B 模型上提升显著。

背景

大模型经常需要重复处理同一套系统提示词和文档，导致重复计算和成本攀升。虽然 token 价格在下降，但重复上下文会带来额外开销。

方案亮点

• LMCache 100% 开源，作为 KV cache 管理层使用
• 将缓存的算过的上下文存储，重复请求直接调用已有结果
• 独立进程运行，不抢推理算力

实测结果

• 平台：H200
• 模型规模：235B
• 首字延迟：快 14 倍
• 解码速度：快 4 倍
• 成本节省：约 90%

了解更多

• 相关项目：LMCache 的官方仓库

直接访问：
https://github.com/LMCache/LMCache

下载链接

GitHub：
https://github.com/LMCache/LMCache