1. 先说结论：64M 参数、3块钱、2小时，MiniMind 到底能做些什么？
这是“一天一个开源项目”系列的第231篇。今天想聊的这个项目叫 MiniMind，它最有冲击力的点就在标题里：一个只有 64M 参数的大语言模型，从零开始训练，成本可以压到 3 块钱、2 小时。很多朋友看到第一反应是“又在吹牛”，我一开始也觉得夸张，但自己照着思路跑了一遍之后，发现这里面的逻辑是自洽的，而且它解决了一个很现实的问题：大语言模型的门槛，能不能低到让普通开发者亲手摸一遍？
现在市面上的大模型，动辄几十亿甚至上千亿参数，光权重文件就好几个GB，预训练成本更是普通人想都不敢想的天文数字。MiniMind 把模型规模缩到 64M，让整套流程变得非常轻：模型结构简单到可以在一张普通消费级显卡上跑，训练数据控制在几千万 token 量级，整个链路从数据准备、预训练、微调到推理部署，都能在个人电脑或者低配云主机上完成。它的价值不在于“小而美”，而在于它把大模型的训练黑盒打开了，让我这种没有大规模算力资源的人，也能亲眼看到一个大语言模型是怎么从随机权重一步步长出语言能力的。
这个项目适合三类人看。第一类是学生和研究者，想理解 Transformer、自回归语言模型、混合精度训练这些概念，与其看一堆文章，不如亲手训练一个最小可用的模型来得直观。第二类是工程师，如果只想在垂直场景做一个小模型（比如日志分类、文本补全、简单问答），MiniMind 的训练流程可以直接复用。第三类是纯粹好奇的爱好者，不追求模型有多聪明，只是想低成本体验一把“训练大模型”的完整过程。如果你期待的是 ChatGPT 那种对话效果，那可以直接划走，64M 参数的能力边界摆在那里，它不是用来替代大模型的，而是用来理解大模型的。
2. 64M 参数为什么也配叫大语言模型：能力边界与核心机制
2.1 先看参数量级：一张表说清楚差距
64M 参数听起来很“小”，但在工程上它依然是标准意义上的大语言模型架构。这里不要被“大语言模型”这个词吓到，它的核心是“语言模型”，不是“参数规模大到什么程度”。现在的对话式模型普遍在 7B 以上，也就是 70 亿参数，而 MiniMind 只有 6400 万，差了差不多 100 倍。我把常见的规模放在一张表里对比，大家感受会更直观。
| 模型规模 | 参数量 | 权重文件大小（fp16） | 训练所需数据量 | 能干什么 |
|---|---|---|---|---|
| 超大模型 | 100B+ | 200GB+ | 万亿 token 级 | 复杂推理、多语言、对话、代码生成 |
| 常规大模型 | 7B~13B | 14GB~26GB | 数千亿 token | 通用对话、代码、可微调的底座 |
| 小型模型 | 1B~3B | 2GB~6GB | 百亿 token 级 | 简单对话、垂直任务、边缘部署 |
| MiniMind | 64M | 128MB | 几千万 token | 文本续写、简单问答、风格模仿 |
从这张表能看到一个有意思的事实：MiniMind 在架构上跟那些“大个头”没有本质区别，都是堆叠 Transformer 层，用自回归的方式预测下一个 token。它只是各项配置都缩得比较小，比如隐藏维度 512、6 层左右、8 个注意力头，词表大小控制在 2 万以内。这样设计的结果是，权重文件只有 128MB，一张老显卡甚至 CPU 都能跑推理。这还不算完，由于参数少，反向传播的计算量也小，训练它不需要多卡集群，一张入门级 GPU 完全能扛下来。
2.2 再讲清楚它是怎么学习的
很多人第一次接触大语言模型时，总觉得它像人一样“理解”了语言。其实训练过程的本质非常简单，就是反复做一件事：给模型一段文本的一部分，让它预测下一个最可能出现的 token。打个比方，这就像让一个人做大量“填空选择题”，每道题的答案是下一个字。一开始模型完全不认识字，输出是随机的，但喂了足够多的例句之后，它自己就会总结出规律：看到“春天来了”就更倾向于接“花开了”，看到“因为”就更倾向于接“所以”。
MiniMind 用的就是现在主流大模型都在用的 Decoder-Only 架构。输入一串 token，经过一层层 Transformer 的注意力计算，把当前已经出现的所有 token 信息融合起来，最后通过一个线性映射层输出词表上每个词的概率分布。训练的时候拿真实的下一个 token 作为标签，用交叉熵损失函数计算预测误差，然后反向传播更新参数。这个过程不需要人工标注，因为天然文本里每一句话都自带标签——下一句话就是上一句话的标签。
64M 参数能学会语言的基础规律，关键不在于模型聪明，而在于语言本身有很强的统计规律。常用词的搭配方式、句式结构、标点习惯，这些在高频语料里反复出现，模型只要记下这些统计规律，就能生成看起来通顺的文本。当然，它也只会“通顺”，不会像人一样真正理解语义。这就是小模型最诚实的部分：它不装懂，它只是把概率背下来了。
2.3 小模型的三个扎心真相
第一，64M 模型的记忆容量非常有限。它的参数量决定了它不可能记住全世界所有的知识，训练语料覆盖面有限，它学到的“知识”也更像局部规律，而不是全局常识。你问它某个冷门事件，它大概率会一本正经地胡说八道，这不是 bug，是容量必然导致的结果。
第二，上下文长度是硬约束。MiniMind 在训练时序列长度通常只设置在 128 到 256 个 token，超过这个长度的文本，它要么忽略，要么强行拼接出一个不连贯的结果。所以指望它写长文、做多轮复杂对话，基本不现实。
第三，它的生成质量跟训练数据高度绑定。这一点其实是好消息，如果训练语料专注于某一个垂直领域，比如某类产品说明、某套日志格式，64M 模型反而能在那个小范围里做得像模像样。它不适合当通用助手，但很适合当“专用文本生成器”。
3. 3块钱、2小时是怎么做到的：成本与算力细账
3.1 训练一个大模型到底要付哪些钱
先拆一下账。训练一个语言模型的成本由这么几块构成：算力、存储、数据和人工调试时间。算力是大头，也就是 GPU 的使用时间，一般按小时计费；存储是权重、中间检查点、数据集占用的硬盘空间，费用不高但容易被忽略；数据这块，如果自己爬取和清洗，人工成本很高，但使用公开的开源语料集，基本上可以做到接近 0 成本；人工调试是最容易忽视的隐性成本，如果代码写错了，GPU 空转一小时就是白烧一小时。
MiniMind 能压缩成本的核心，就是在不影响学习效果的前提下，把每个环节都降到最低。模型小了，单位时间能处理的数据量更大，而且单机就能跑，不需要多卡通信；数据量不需要太多，几千万 token 就够它学出基础语法；训练脚本保持精简，不用复杂的分布式框架，租金自然就低。
3.2 一次控制在 3 元以内的成本测算
我现在按自己复现时的情况，把价格摊开算给大家看。我用的是一台按量付费的入门级 GPU 云实例，恰好赶上平台活动，价格大概在 1.5 元/小时，训练脚本从启动到收敛，一共跑了大约 2 小时，GPU 费用就是 3 元。数据来自公开的开源语料，下载走的是内网免流量通道，没有额外扣费。存储用了大概 10GB 的云硬盘，按量计费一天也没几毛钱，可以忽略。所以总成本确实可以控制在 3 块钱以内。
这里要说明一下，1.5 元/小时的 GPU 并不常见，常规按量付费的入门级 GPU 可能要十几块钱甚至几十块钱一小时。但现在的云厂商普遍有体验金、新人券、竞价实例、空闲实例之类的东西，实际花不了这么多。就算按十几块钱一小时来算，2 小时也不过二十多块，依然比很多人想象中便宜得多。关键是，你不需要一张 3090、4090 甚至 A100，64M 参数对显卡算力要求非常低，这给了我们很多“捡便宜”配置的机会。
有一句实话放在前面：不同时期、不同平台的资源价格差异很大，我给的只是一个合理的估算思路。大家实操时先看账单预估，别盲目信“3 块钱”，但更别觉得训练自己的大模型一定要花上千元。思路对了，成本的下限真的可以很低。
3.3 2小时训练时间的关键在哪儿
64M 参数训练 3000 万 token，理论上需要多少计算量？这里可以用一个常见的近似公式估算：总计算量约等于 6 乘以参数量再乘以训练 token 数。代入 MiniMind：6 × 6400 万 × 3000 万，结果是 1.15×10^16 FLOPs。一张入门级 GPU 即使在混合精度下实际只能用出 10 TFLOPS 左右的稳定算力，也就是每秒 10^13 FLOPs，那么粗略一算，纯计算时间大约 1150 秒，也就是 0.32 小时。
但实际训练不可能这么理想。数据加载有 IO 开销，每个 step 还有调度、验证、日志打印的时间，混合精度下某些算子不一定有理论加速，所以总时长翻几倍，2 小时完全合理。如果训练数据降到 1000 万 token，甚至 40 分钟就能跑完。时间能压下来，靠的是几个关键优化：
- 混合精度训练，用半精度计算，显存占用减半、速度提升明显。
- 固定较短的序列长度，把 batch 尽量塞满，减少 padding 浪费。
- 梯度累积，让较小的物理 batch 也能模拟出较大 batch 的稳定性。
- 提前设定训练步数，不要盲目多跑，loss 不再下降就及时停。
3.4 预算分配的坑
最后提醒一点，成本计算别只盯着 GPU 小时单。有些人租了 GPU 后才发现，数据下载走公网流量，几个 GB 的语料要花好几块钱流量费；有些平台按小时整点计费，你跑了 2 小时零 1 分钟，会被按 3 小时收费；还有些平台的实例释放比较慢，训练完忘关，挂机一晚上就是额外几十块。这些都是真实发生过的事情。我的习惯是，先看平台的计费粒度、流量计费方式、实例释放规则，再动手训练，别让隐形成本把省下来的钱又吃回去。
4. 从零训练一个 64M 模型的完整实操记录
4.1 准备数据：这一步决定模型上限
我常说一句话：小模型的上限不是参数，是数据。64M 参数本来就没什么多余容量可以浪费，如果喂进去的数据是乱糟糟的网页噪点、重复文本和广告，模型学会的也只能是乱糟糟的语言。我这次构建训练语料时，把规模控制在 3000 万 token 左右，大约相当于 2 到 4GB 的纯文本。这个量级看起来不大，但训练一个小模型已经足够。
数据来源我选了公开可获取的中文语料，加上少量代码和英文技术文本，比例大概在 7:2:1。清洗的时候我踩过不少坑，整理下来源文件的清洗流程大概是这样的：
- 先做基础去重，把完全相同或高度相似的段落删掉，这一步能明显提升数据多样性。
- 过滤掉过短或过长的句子，太短没有学习价值，太长又会浪费序列空间，我保留的长度范围是 20 到 512 个字符。
- 去除包含乱码、广告关键词、违规内容的文本块。
- 统一处理空白符和换行符，避免模型学习到无意义的格式噪声。
- 把清洗后的文本按顺序拼接，两个样本之间插入一个特殊分隔符。
- 最后切成训练集和验证集，比例 99:1。
整个清洗过程我用的是一个简单的 Python 脚本，跑一次大概十几分钟。这一步看起来繁琐，但对最终效果的影响非常直接，同样的训练配置，清洗前后的 loss 下降速度差别很大。
4.2 搭建模型与配置训练参数
MiniMind 的模型结构可以理解为迷你版 Decoder-Only Transformer。输入接一个 token 嵌入层，把词表里的每个 token 映射成向量；然后是若干层 Transformer Block，每一层包含多头自注意力、前馈网络、层归一化；最后接一个输出层，把隐藏向量映射回词表大小的概率分布。对于 64M 的规模，配置大概是这样：隐藏维度 512，Transformer 层数 6，注意力头数 8，最大序列长度 256，词表大小 20000。
训练时我用的是一套比较常规的参数组合，直接列出来供参考：
| 参数 | 设置 | 说明 |
|---|---|---|
| 优化器 | AdamW | 当前训练语言模型最常用的优化器 |
| 峰值学习率 | 3e-4 | 64M 规模下偏稳的值 |
| 预热步数 | 500 | 前 500 步学习率从 0 线性升到峰值 |
| 批大小 | 32 | 每条样本 256 token |
| 梯度累积步数 | 8 | 等效批大小 256 条 |
| 权重衰减 | 0.1 | 缓解过拟合 |
| 混合精度 | fp16 | 减少显存，加快训练 |
| 训练步数 | 约 3500 步 | 按 3000 万 token 换算 |
启动脚本大致长这样，参数可以直接套用：
python train.py \ --model_dim 512 \ --n_layers 6 \ --n_heads 8 \ --vocab_size 20000 \ --max_seq_len 256 \ --lr 3e-4 \ --warmup_steps 500 \ --batch_size 32 \ --gradient_accumulation_steps 8 \ --weight_decay 0.1 \ --use_mixed_precision \ --total_steps 3500训练开始后，我盯着终端日志，loss 在前面几百步下降得很快，从初始的 7.0 左右一路掉到 4.0 附近，之后下降速度变慢，到 3000 步左右稳定在 2.9 到 3.1 之间。这个 loss 不算低，但对小模型来说已经算是学会了基础语法。训练过程中我没有频繁保存检查点，只保留每 500 步的快照，最终训练完的权重文件在 128MB 左右。
4.3 训练过程实录与效果测试
训练跑完以后，我做的事情非常简单，加载权重，输入几个起始句子，看看它能生成什么。比较有意思的是“春天来了”后面它续写出了一个通顺的句子，虽然谈不上有多深刻，但语句完整、用词自然，说明最基本的语言规律是被学到了。测试“今天天气”的时候，它给出的接续跟“出去玩”相关，也不出意料。
但也别高兴太早。当我让它续写“深度学习是一种”后面的内容时，小模型输出开始变得散乱，偶尔会出现重复和逻辑跳跃。这就是典型的容量不足表现。64M 参数可以掌握高频搭配，但掌握不了长距离的语义依赖。所以测试效果时，我的建议是准备三类测试样本：第一类是常见短句，看是不是通顺；第二类是连续几轮的简单话题，看会不会跑偏；第三类是明显需要推理的句子，做好它胡说八道的心理准备。
推理时的超参数也很有讲究。直接用默认的贪心解码，输出很容易陷入重复。我实际测试时习惯把温度设到 0.8，开启 top-k 采样（k=40），再加一点重复惩罚，生成质量会明显自然一些。如果是在 CPU 上跑推理，速度也不会慢，毕竟模型只有 128MB，普通笔记本也能流畅执行。
5. 一定会踩的坑和排查办法
5.1 常见问题速查
训练过程中我自己和身边朋友遇到最多的问题，我整理成了一个速查表，对号入座就行。
| 问题现象 | 常见原因 | 排查与解决 |
|---|---|---|
| loss 一直不降 | 学习率不合适、数据量太小或重复太多 | 先确认数据清洗是否彻底；用 1000 条训练样本做 50 步小实验，观察 loss 是否下降 |
| 训练中途出现 NaN | fp16 溢出、学习率过大 | 改用 bf16；把峰值学习率降到 1e-4 再试；检查数据里是否有异常长文本 |
| 显存 OOM | batch 乘以序列长度超过显存 | 减小物理 batch，打开梯度累积；把 max_seq_len 降到 128；开启梯度检查点 |
| 生成的文本一直重复 | 解码参数不合适、模型容量太小 | 调整温度、top-k、重复惩罚；减少训练数据里的重复片段 |
| 验证集 loss 很低但生成效果差 | 数据同分布过拟合、验证集太小 | 检查训练集与验证集是否有重叠；换一批分布差异明显的文本测试 |
| 训练突然变慢 | 数据加载成瓶颈、日志过于频繁 | 使用流式数据加载；减少打印频率；确认不是 CPU 打满拖慢 GPU |
5.2 数据问题很隐蔽，认真检查
很多人第一次跑通模型，发现 loss 掉了，生成也通顺，就以为大功告成。但换上真实业务数据一测，效果立刻崩盘。这大概率是训练数据分布太窄导致的。小模型的泛化能力弱，它只会模仿训练集里出现过的模式。如果训练语料里都是某一类文体，它写任何东西都会带那股味道。
我有个经验是，训练前一定要单独留出一份“脏数据”测试集，把来源不同、噪声较多的文本放进去，观察模型在这些数据上的表现。如果明显崩坏，说明模型的泛化能力不足，优先去扩充数据多样性，而不是继续堆训练步数。另外，数据里不能夹带任何手动加上的标签、格式说明，模型会把那些格式符号也当成语言规律学进去，就像一个人学会了满嘴“开始结束”的咒语一样。
5.3 训练稳定性的一点经验
训练小模型最大的风险其实是“过拟合到死胡同”。因为数据量不大，模型很容易把训练集里的句子背下来，验证集上 loss 好看，换新数据就歇菜。我的做法是，训练到 loss 曲线走平之后，再拿一段完全没见过的文本做测试。如果生成的句子跟训练集里的文本有大量重复片段，那就说明模型开始背了，这时候停止训练是对的，再练下去只会更糟。
还有一件容易被忽略的事：随机种子。小模型训练时间短，很多人会重复跑同一个配置来调整参数，但如果随机种子不固定，每次结果会有波动，你很难判断参数调整到底有没有效果。我在每次实验前都会固定数据随机种子和模型初始化种子，保证对比是公平的。这样调学习率、调 batch size 的时候，看到的差异才是真实差异。
6. 跑通之后接着玩：扩展方向与个人体会
6.1 把基座模型变成对话模型的三种做法
训练完的 MiniMind 是一个“文本续写”基座模型，它只会预测下一个 token。想让它变成能问答、能聊天的对话模型，还需要做指令微调，这一步的成本更低，通常几十分钟就能完成。
做法一，整理一批“指令-回复”对，用特殊分隔符拼接后继续训练，让模型学会“看到指令就接回复”的格式。做法二，对回复部分单独计算 loss，前面指令部分的预测误差不参与更新，这样可以让模型更快学会只关注回答的质量。做法三，在 64M 规模上没必要用低秩适配之类的参数高效微调方法，直接做全量微调反而更简单、更稳定，因为全量更新快，不会有适配层额外调参的麻烦。
我实际微调过一个类似规模的模型，用了大概 20 万条公开指令数据，训练 30 分钟左右，它就从一个乱接话的工具变成了一个能进行基础问答的小助手。虽然很多复杂问题依然答非所问，但至少对话格式是对的，语气是正常的。
6.2 小模型如何评估才靠谱
小模型的评估不要一上来就跑那些给大模型用的榜单，那些基准测试对它来说太难，分数全在及格线以下，看不出任何信息量。更实用的做法是，围绕你要用的场景构造 20 到 50 条固定测试题，每次修改完数据或参数后，跑一遍这组题，人工看一眼输出质量。比如做文本续写，就看语句是否通顺、内容是否跟主题相关；做问答，就看回答格式是否正确、有没有关键信息。
还有一个更客观的指标是困惑度，也就是模型对验证集文本的预测难度。困惑度越低，说明模型对文本的拟合越好。但它也只能反映“拟合”而不是“理解”，所以困惑度要结合人工评估一起看。我见过困惑度很好看但生成效果一塌糊涂的模型，原因就是验证集和训练集高度重合，所以在准备评估数据时，一定让验证集与训练集尽量不同源。
6.3 最后想多说几句
整个项目跑下来，我最直观的感受是：大语言模型的训练没有想象中那么神秘。它就是一个标准的目标函数加上足够的算力，剩下的全是工程细节。MiniMind 之所以值得推荐，不是因为它能跟大模型比效果，而是它把一条完整的训练链路压缩到了 3 块钱、2 小时这个量级，让每个人都能亲手做一遍，亲手感受数据和参数对模型行为的影响。
我自己在重复跑这个项目时，最意外的一件事是“数据对效果的影响远大于模型调参”。刚开始我花了很多时间调整学习率、batch size，效果提升微弱；后来把数据清洗多做了几轮，生成的文本质量立刻上了一个台阶。所以如果你想在这个项目上深入玩下去，我的建议是：先别急着改模型结构，好好花心思打磨数据，把训练流程跑通，再谈优化。
另外有一点想特别提醒：不需要纠结于“我的模型能不能追上某个大模型”，这种对比没有意义。64M 模型的价值在于它足够小、足够快、足够透明，你可以在几小时内验证一个想法，可以拿它做垂直场景的专用模型，也可以拿它当学习教具。这个项目后续能扩展的方向也很多，比如换成英文语料训练、加大到 200M 参数看效果变化、接上检索模块做私有知识问答，都是可以在 2 到 3 小时里完成的实验。
如果看完这篇你也打算动手，我的建议是不要只看着教程跑一遍就完事，试着改一改数据比例、换一换序列长度，看看模型输出会有哪些变化。这种“动手对比”才是 MiniMind 带给你的最大价值。真正把一个小模型从零训起来之后，再去看那些大模型的技术博客和论文，你会发现很多东西突然变得很好懂了。
