kimi-k3-in-c：用 176KB C99 代码跑超大 MoE 的极限实验（8GB 内存、单 CPU、NVMe 流式权重加载）

用极小内存实现超大 MoE 的开源实验，展示在低内存条件下的可行性与稳定性。

概览

• 项目：kimi-k3-in-c
• 目标：在 8GB 内存、单 CPU、无 CUDA/PyTorch/BLAS 的条件下，运行超大 MoE 模型。
• 关键点：176KB 的可移植 C99 代码，不依赖 GPU，模型放在 NVMe，权重按需流式加载。

主要特性

• 专家数：896，Token 激活比例：每 Token 仅激活 16 个专家
• 存储与加载：模型放在 NVMe，剩余权重按需流式加载
• 速度对比：在 8GB 内存下，生成一个 Token 约 26～32 秒
• 一致性：不同内存配置下，输出结果保持字节级一致

现阶段定位

• 现阶段更像极限条件下的技术实验，而非日常聊天的实用模型
• 证明了超大 MoE 模型并不一定需要把全部权重同时驻留在内存中

资源与链接

• 代码与项目主页： https://github.com/FareedKhan-dev/kimi-k3-in-c

备注：文中保留原文的技术要点和链接，未删减与主题相关的内容与链接。

下载链接

GitHub：
https://github.com/FareedKhan-dev/kimi-k3-in-c