介绍如何用C语言实现2.78万亿参数的推理模型，无需GPU即可运行。

Kimi K3 推理引擎

Kimi K3 是一款纯C99编写的推理引擎，不依赖于BLAS或任何框架，更不需要GPU。它能够运行2.78万亿参数的模型，仅需一颗CPU和8GB内存。

实测数据：

• 硬盘上摆放1.56TB的权重，峰值内存使用仅8.24GB。
• 整个引擎仅占用176KB。

性能对比：

1. 普通笔记本8GB内存：吐一个token需要26.5秒。
2. 128GB以上内存：吐一个token只需5.6秒。

答案一模一样，唯一变化的是你等待的时间。

想要深入了解的朋友可以拉取代码：

🔗 https://github.com/FareedKhan-dev/kimi-k3-in-c