训练一个900万参数的GuppyLM语言模型，只需5分钟，无需高端设备。

简介

有个技术达人成功训练了一个名为GuppyLM的900万参数语言模型，它的人设是一条鱼，总是聊水、聊食物、聊光和鱼缸里的日子。

这个项目的关键在于它想证明：训练大模型并不是什么玄学。

核心要点

1. 不需要博士学位
2. 不需要大量GPU
3. 使用Colab笔记本，5分钟内完成从数据、分词器、模型结构到训练推理的全流程

训练完后，你将了解大模型是如何将文字转化为权重并输出结果的过程。

想要尝试的可以直接访问：

🔗 https://github.com/arman-bd/guppylm