CAG 改写思路：将知识提前放入上下文并缓存 KV，适用于中小规模知识库 适合FAQ/文档/代码说明

将知识提前嵌入上下文并缓存 KV 的 CAG 思路，适用于中小规模且内容稳定的知识库，数据量大时仍可结合 RAG 提高稳定性。

概要

分块、Embedding、向量库、检索、拼 Prompt，这套流程又长又难伺候，RAG 搭久了是不是真能把人逼到怀疑人生？

• CAG 的核心改变

  • 把相对固定的知识提前放进上下文
  • 将 KV Cache 一并缓存
  • 查询时直接取用，不再每次走向量检索

• 适用场景

  • 中小规模、内容稳定的知识库，如：
    • FAQ
    • 产品文档
    • 代码说明
  • 用它是“真合适”的选择

• 使用建议

  • 数据量特别大、更新特别频繁的场景，仍然建议使用 RAG 或 CAG + RAG 的混合方案，通常更稳妥

• 开源实现参考

  • 🔗 http://github.com/hhhuang/CAG

下载链接

GitHub：
http://github.com/hhhuang/CAG