Colibrì Colibri 744B MoE：将专家权重存储在硬盘上实现可在普通电脑上运行的大模型

744B MoE 模型通过将专家权重存储在磁盘并按需读取，配合稠密部分驻留内存，实现在无需大显存的前提下运行的大模型方案。

概览

• 项目：Colibrì（Colibri）
• 目标：在不将整套模型灌入显存的前提下运行大模型
• 规模：744B MoE
• 核心机制：专家权重放在磁盘，按需加载；稠密部分在内存中以 int4 常驻
• 硬件要求：不需要 GPU，拥有 24GB 以上内存即可尝试
• 编程实现：纯 C 编写，不依赖推理框架
• 官方实测：在约 25GB 内存机器上也能运行，但速度明显下降
• 思路总结：过去比的是显存容量，现在改为比谁更擅长利用硬盘作为多层内存协调区

关键参数

• MoE 规模：744B
• token 激活：每个 token 约激活 40B 参数
• 专家权重存储：约 370GB，放磁盘按需读
• 稠密部分内存占用：约 9.9GB（int4）

使用建议

• 硬件：推荐具备 24GB+ 内存的系统，无需 GPU 即可尝试
• 性能：速度会受限于磁盘 I/O 与分层内存调度，但提供了无需大显存运行的可能性

实践要点

• 通过将 VRAM、RAM、SSD 视作一个分层内存系统来调度数据流
• 关键在于高效的按需加载与内存管理策略

原始链接

• 项目地址: https://github.com/JustVugg/colibri