本文约2000字，建议阅读5分钟稀释不止省 FLOPs2017 年，《Attention Is All You Need》将 Transformer 推上深度学习主舞台。如今，几乎所有主流大模型都站在这套架构之上，推理、训练、显存和能耗成本也随模型规模一路上涨。
大模型运转时，Transformer 内部并不是所有 FFN 隐藏激活都同样重要。对当前 token 来说，真正产生贡献的往往只占很小一部分，大量激活接近于零。
加入轻量级 L1 正则后，这种稀疏度甚至可以达到 99% 以上。
既然非零激活已经很少，为什么模型运行速度依然受限？直接跳过这些零激活来节省算力，为什么在 GPU 上反而可能遭遇负优化？
这项发表于 ICML 2026 的工作来自 Sakana AI 与 NVIDIA，作者之一 Llion Jones 正是《Attention Is All You Need》原作者之一。
论文没有引入复杂架构改造，而是围绕 FFN 激活稀疏做文章。用简单的 L1 正则诱导高稀疏激活，再配合新的稀疏打包格式和 CUDA Kernel，把大量零激活真正跳过去。
论文标题：Sparser, Faster, Lighter Transformer Language Models
论文链接：http://arxiv.org/abs/2603.23198
代码链接：https://github.com/SakanaAI/sparser-faster-llms
在下游任务表现基本不受影响的前提下，该方案在十亿参数级模型上实现了最高 20.5% 的前向计算提速和 21.9% 的训练步骤提速，推理能耗同步下降，训练稀疏度实验中峰值显存也明显降低。
这也让原本停留在理论 FLOPs 上的稀疏性，转化为现代 GPU 上可测的实际收益。
〓 不同稀疏度下的推理、训练提速与下游表现
01 稀疏不等于提速
在更大规模的现代 LLM 中，FFN 往往占据超过三分之二的参数，并贡献超过 80% 的总 FLOPs。
〓 Gated FFN 的 up、gate 与 down projection
标准 Gated FFN 的计算流程通常表示为：
ReLU 作为激活函数 σ，可以自然产生非结构化稀疏。但现代 GPU 的软硬件栈长期围绕规则、连续的密集计算优化。
传统 ELLPACK 依赖整行打包和 padding，和现代 GPU 常用的 tiled matmul 并不匹配。
〓 传统 ELLPACK 的整行对齐存储
若先生成完整 gate activation 再转换为稀疏格式，就会引入额外的 kernel launch、全局显存读写和同步开销。理论计算量少了，但格式转换、索引管理和访存开销很容易抵消收益。
02 TwELL 减掉转换开销
针对推理阶段，研究团队设计了 TwELL（Tile-wise ELLPACK）格式。该格式放弃全局行对齐，将矩阵列切分为与密集计算贴合的局部 1D 数据块（Tile）。
〓 TwELL 将列方向切成 tile，更适合与矩阵乘法 kernel 融合
在计算门控激活时，TwELL 格式能直接在算子尾声（Epilogue）生成，避免单独启动格式转换 kernel，也减少额外的全局显存读写。
〓 带 TwELL 存储生成的门控投影核心逻辑
在后续计算中，定制的 CUDA 内核单次遍历即可同步完成升维（Up）和降维（Down）投影。
其核心逻辑在于将两次乘法融合，避免了中间状态 h 的访存开销：
其中。这种融合减少了中间激活的全局显存读写，也让稀疏带来的理论收益更容易落到实际速度上。
03 Hybrid 应对非均匀稀疏
到训练阶段，显存容量成为关键瓶颈。不同 token 的非零激活数量差异很大，单一紧凑格式很容易被少数高非零行拖累。
团队开发了混合路由机制，大多数低激活 token 进入高压缩比的 ELL 矩阵，而偶发的高活跃 token 被动态分流至密集的备用通道，交由 Tensor Core 处理。
〓 基于混合格式的稀疏矩阵算子路由计算逻辑
这种设计减少了训练中的密集运算和中间激活存储开销，也降低了稀疏训练对峰值显存的压力。
04 百亿级 Tokens 实测收益
在规模对比实验中，作者训练了从 0.5B 到 2B 的模型，对应 10B 到 40B tokens。稀疏训练使用的核心正则项如下：
实验显示，适度 L1 正则可以把平均非零激活数量压低几个数量级。在较保守设置下，下游任务表现仍与稠密基线基本持平。
〓 不同 L1 正则化系数下的任务精度与非零激活数
下游多项评测显示，在实际运行中，推理速度提升高达 30%，显存需求下降超 24%。
〓 推理前向加速比与能耗节省统计
〓 训练步加速比与显存峰值降低统计
实验数据进一步证实，模型规模越大，这套稀疏加速机制带来的吞吐量提升和显存红利越明显。
〓 不同参数规模下的执行效率与显存消耗对比
05 稀疏视角下的算力分配
稀疏激活还提供了一个观察模型计算分配的窗口。从网络深度来看，前两层相对静默，而网络中段最为活跃，承担了核心的推理与知识检索任务。
〓 网络不同层级的非零激活数量分布
从 token 特征来看，低活跃 token 多是常见网页链接片段或高度可预测的词形片段。高活跃 token 则包含更强上下文信息的动词、名词、地点和物质名称。
〓 特定词元及其在序列不同位置的非零激活数统计
这项工作没有试图替换 Transformer，也没有依赖复杂架构改造。
它的价值在于把 FFN 激活稀疏接进真实 GPU 执行流程，用稀疏格式和 CUDA kernels 把一部分理论计算节省转化成可测的速度、能耗和显存收益。
·
编辑：文婧
关于我们
数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。
新浪微博：@数据派THU
微信视频号：数据派THU
今日头条：数据派THU
