MiniMind 教你用原生 PyTorch 从零开始训练一个 64M 小模型（2 小时、4 美元起步）

用原生 PyTorch 完整复现大模型训练链路：预训练、SFT、LoRA、DPO、PPO/GRPO、Tool Use、Agentic RL，个人 GPU 也能跑通。

概要

在有限预算与时间内，完整复现大模型训练流程的一条自研路径。该项目用原生 PyTorch 实现了从预训练到强化学习等整条链路，并对齐 Qwen3 的结构，旨在让个人 GPU 也能复现。

亮点

• 全链路覆盖：预训练、SFT、LoRA、DPO、PPO/GRPO、Tool Use、Agentic RL
• 原生实现：完全用 PyTorch 编写，无依赖的高层框架依赖
• 低成本尝试：2 小时、4 美元就能训练出一个约 64M 的小模型
• 对齐目标：结构对齐至 Qwen3

适用人群

• 想理解大模型训练全流程的学习者
• 具备 GPU 资源的个人开发者
• 希望在本地复现大模型训练链路的人

如何动手

• 克隆仓库：
  • GitHub: https://github.com/jingyaogong/minimind
• 基本步骤（以示例为准，请以仓库内具体实现为准）
  1. 准备数据与环境
  2. 运行预训练阶段
  3. 进行监督微调（SFT）
  4. 应用 LoRA 调整参数量化
  5. 采用 DPO/PPO 进行强化学习微调
  6. 集成 Tool Use 与 Agentic RL
  7. 验证与评估

备注：文中强调这是“从零起步”的实现，适合动手实践与学习理解。

下载链接

GitHub：
https://github.com/jingyaogong/minimind