MiniMind：3块钱两小时从零训出迷你大模型，全流程开源

开源项目 MiniMind，3 块钱两小时从零训出 25.8M 迷你大模型，全流程代码开源。

3 块钱、俩小时，就能从零训出一个大模型？这话你敢信？

GitHub 上扒到个开源项目，已经 5w star 冲上 Trending 了。它能让你训出一个参数只有 25.8M 的迷你语言模型，最小版本体积仅仅是 GPT-3 的 1/2700，是真够小。

重点是整套东西全开源了：

• tokenizer 分词器训练
• Pretrain、SFT 全流程代码
• 视觉多模态版 MiniMind-V

脚本清一色 PyTorch 原生写的，还兼容 MoE 架构，等于把大模型从零到一的活儿完整复刻了一遍。想搞明白大模型是怎么炼成的，拿它练手是真香。

🔗 项目地址：https://github.com/jingyaogong/minimind

下载链接

GitHub：
https://github.com/jingyaogong/minimind