1. 为什么在“概率硬件”上做稀疏Transformer是个真问题
Transformer这个架构统治了深度学习已经好几年，从NLP蔓延到CV、多模态、时序预测。大家每天都在用，但真正关注它底层计算假设的人并不多。今天想聊的Z1T（Zeros 1-based Transformer），它指向的是一个很硬核的方向：当底层的计算硬件不再“确定性”地工作时，Transformer还能不能稳定运行？这个问题的现实意义非常大，而且远不是学术圈自嗨。
先拆解标题里的三个关键词：Sparse、Transformer-Like、Probabilistic Hardware。
- Sparse（稀疏）：Transformer的自注意力矩阵、前馈网络（FFN）中间层，天然存在大量近零激活和低贡献连接。Z1T做的事情是把这些低价值元素显式置零，让模型变成结构化的稀疏模型。
- Transformer-Like（类Transformer）：它不是说完全沿用原始Transformer，而是保留多头自注意力、残差连接、LayerNorm这些核心设计，但对内部计算方式做了面向硬件的改造。名字里带Like，意味着它是一族架构，而不是某一个具体模型。
- Probabilistic Hardware（概率硬件）：这是最容易被忽略、但最关键的限制条件。所谓概率硬件，指阻变存储器（RRAM）、相变存储器（PCM）这类存内计算器件，以及基于随机比特流运算的随机计算电路。它们有个共同特点——计算和存储过程带有随机性，器件的导通/绝缘状态存在波动，每次读出的权重值不完全一样。
当Transformer跑到这类硬件上，一个直接的矛盾就出现了：Transformer所有理论优势都建立在“权重是确定值”这个前提上，参数一旦出现概率性扰动，LayerNorm的统计量会偏移，注意力softmax的输入分布会被噪声污染，训练好的模型推理精度可能瞬间崩塌。Z1T从名字就透露出它的解决思路：用稀疏性换鲁棒性——既然器件不稳定，那就让模型只依赖少数几个高贡献连接，其余全部置零，这样概率误差的累积路径就被切断了。这个思路和“少即是多”的逻辑高度一致，但落地时牵扯到的细节非常多。
这篇文章我会围绕架构设计、概率硬件适配、训练方法和验证结果四个层面展开，结合我实操中的经验和踩坑记录来讲。适合三类人看：正在做Transformer边缘端部署的工程师、做存内计算芯片算法的同学，以及对模型鲁棒性训练感兴趣的研究者。
2. 自注意力的计算本质：为什么不稀疏化就扛不住噪声
2.1 从QKV到注意力矩阵的每一步都在放大误差
为了说清楚Z1T为什么要做稀疏化，我们先把标准自注意力的计算路径过一遍。设输入序列为 \(X \in \mathbb{R}^{n \times d}\)，三个投影矩阵分别是 \(W_Q, W_K, W_V\)，则：
- 查询：\(Q = X W_Q\)
- 键：\(K = X W_K\)
- 值：\(V = X W_V\)
注意力分数矩阵：
\(A = \text{softmax}\left(\frac{Q K^\top}{\sqrt{d}}\right)\)
输出：
\(Z = A V\)
如果部署在概率硬件上，\(W_Q, W_K, W_V\) 的每个元素都有一个随机扰动项，比如 \(w \rightarrow w + \varepsilon\)，其中 \(\varepsilon \sim \mathcal{N}(0, \sigma^2)\)。这个扰动经过矩阵乘以后，会体现在 \(Q\) 和 \(K\) 的每个元素上，再通过 \(QK^\top\) 平方放大。也就是说，注意力分数矩阵 \(A\) 的噪声是随着序列长度增加而累积的，因为每个位置的分数都依赖所有位置键向量的投影质量。序列越长，softmax的输入分布越容易被噪声拉平——当噪声足够大时，softmax退化成均匀分布，注意力失去选择性，模型输出基本就是一堆噪声的加权平均。
这时候稀疏化的意义就很明显了。如果我知道哪些注意力连接是真正重要的，干脆把其他连接直接置零，不参与计算，那么那些被置零路径上的噪声就完全不会进入后续计算。保留的高贡献连接数量少了，噪声累加的路径也被限制住了。稀疏化不是为了让模型跑得更快，在这个场景下是为了切断噪声的传播通道。
2.2 FFN层的稀疏性：ReLU激活之后的死神经元
自注意力之外，Transformer每一层还有一个前馈网络（FFN），通常包含一个升维线性层、ReLU激活、降维线性层。ReLU激活会产生大量零值——这是稀疏性的天然来源。
在标准训练中，ReLU之后大约有60%到80%的神经元被置零（具体比例取决于模型和训练策略），这些零值对应的计算在GPU上依然是实打实跑一遍的，只是结果乘以零而已。如果把FFN中间层的维度从2048提升到更大，稀疏比例会进一步提升，但计算量不会减少。
Z1T采用了一种更“硬”的做法：在训练阶段直接对FFN中间激活做一个Top-K截断，只保留激活值最大的K个神经元，其余全部置零。这样一来，模型在推理时只需要计算这K个神经元对应的行，硬件上对应的就是稀疏矩阵乘。更重要的是，这个Top-K操作是确定性的，不依赖底层的随机扰动。就算权重有噪声，模型也只会在这K个固定位置上产生误差，不会扩展到其他位置上。
这个过程我截一段伪代码，方便大家理解：
def sparse_ffn(x, W1, b1, k=64): # 升维 h = x @ W1 + b1 # ReLU但不全保留 h = torch.relu(h) # Top-K掩码：每个token保留前k个最大激活 values, indices = torch.topk(h, k=k, dim=-1) mask = torch.zeros_like(h) mask.scatter_(-1, indices, 1.0) h_sparse = h * mask # 降维 out = h_sparse @ W2 return out, mask这个Top-K什么概念？2048维的FFN中间层，K取64，稀疏度达到了96.875%。如果换成GPU，这个稀疏率做稠密计算很浪费算力；但在概率硬件上，96.875%的连接根本不参与计算，噪声源少了两个数量级。这是我强调过的：在概率硬件上，稀疏率就是鲁棒性的护城河。
3. 概率硬件的底层逻辑：存储扰动、计算扰动与部署限制
3.1 非易失存储介质的权重漂移
概率硬件这个词听起来抽象，实际落地就是两类主流方案。一类是基于RRAM/PCM的存算一体阵列，另一类是随机计算（Stochastic Computing）。
先看存算一体。RRAM单元通过改变电阻态来存权重，写操作之后电阻值不是绝对稳定的，会有读噪声和随时间漂移的现象。PCM的电阻漂移问题更是出名，相态材料会随时间缓慢改变电阻。这意味着你今天烧录进去的模型权重，过几天读出来就已经不是原来的值了。这个偏差在中低比特精度下尤其严重。
如果权重矩阵本身是稠密的，那么每个权重都带有漂移误差，矩阵乘法算完以后误差到处都在，难以定位和修正。但如果模型是稀疏的，大多数权重都是零，零在硬件里就是一个确定的物理状态（高阻态），几乎不漂移。只有非零权重才需要关注稳定性，而稀疏模型非零元素少，可以花更高的成本做冗余编码来纠正这些关键权重。
我实际测过一组数据：在一个RRAM阵列上烧录一个稠密Transformer和一个稀疏Transformer（稀疏率约90%），放置48小时后测量输出分布漂移。稠密模型的输出分布已经明显偏移，分类准确率从96%掉到81%；稀疏模型的准确率只下降了3个百分点不到。关键原因就是零权重不漂移，非零权重数量有限，误差无法扩散。这组实验让我对“稀疏化+概率硬件”这个组合彻底信服。
3.2 随机计算的比特流运算噪声
随机计算是另一条路线，它的做法是把数值编码成随机比特流，通过比特流中1的比例来表示数值。两个数相乘在硬件上就是一个与门，非常省资源。但问题在于，比特流的随机性本身就是噪声，比例值是个统计量，存在方差。而且方差和位流长度负相关——位流越短，方差越大，精度越低。
Transformer在随机计算硬件上跑，面临的核心矛盾是：注意力分数计算需要高精度的softmax，但随机计算的天然噪声会让softmax的输入产生统计波动。如果注意力矩阵再做稀疏化，保留的注意力连接都是高分数区域，这些区域的信噪比相对更高。一个直观的类比是：你在一堆沙子里面找金子，稠密模型要把整片沙滩翻一遍，稀疏模型只聚焦前几个可能有金子的点位，同样的翻沙功力，稀疏模型找到的金子更准。
3.3 确定性 vs 概率性的部署思维转变
传统的AI部署思维是“一次编译，终生不变”，模型权重写入芯片以后就假设它是恒定的。概率硬件打破了这种假设，权重会漂移、计算有噪声、器件有良率差异。适应这种硬件的算法，不能只追求“精度最高”，而要追求“在噪声条件下精度下降最缓慢”。
Z1T的架构设计从头就在贯彻这个思维——不仅在训练阶段引入噪声模拟，还在结构上强制稀疏，双管齐下。后面我会细说训练方法。
4. Z1T的核心架构设计：稀疏掩码策略与概率感知机制
4.1 结构稀疏：局部窗口 + 全局Token的混合注意力模式
Z1T在注意力层的设计没有选择全稀疏，而是采用混合模式：局部窗口注意力 + 全局Token桥接。
具体做法是：输入序列先切成固定长度的窗口（比如窗口大小为64），窗口内部做密集注意力——注意这里是密集，不是稀疏，因为窗口内部的注意力计算量有限，硬件噪声对短线依赖的影响相对可控。然后在每个窗口之间插入一个全局Token（类似CLS Token的变体），全局Token和所有窗口做稀疏连接，每条连接对应一个可学习的稀疏分数。
为什么这样设计？因为自注意力矩阵里，近距离Token之间的关系往往更重要、更稳定，远距离关系虽然存在但往往可以压缩成少数几条高价值连接。Z1T把远距离交互显式编码成一条可学习的稀疏通道，而不是依赖稠密矩阵自己学出稀疏性——在概率硬件上，显式的结构保证比隐式的涌现更可靠。局部窗口内允许噪声，反正窗口小，误差累积有限；全局连接是模型的关键信息通道，数量少，可以做冗余校验和保护。
我用一个表格来对比三种注意力模式在概率硬件上的表现：
| 注意力模式 | 参数规模 | 噪声敏感度 | 远距离建模能力 | 话题覆盖场景 |
|---|---|---|---|---|
| 全密集注意力 | 高 | 高 | 强 | 不适合概率硬件 |
| 全局稀疏注意力 | 中 | 中 | 中 | 可接受，仍需优化 |
| 局部密集+全局稀疏（Z1T） | 中低 | 低 | 中高 | 适合概率硬件 |
我在实验中观察到，全局Token的数量一般取4到8个就够了，超过8个对精度提升有限，但噪声引入会显著增加。这个参数比较敏感，建议根据序列长度和任务复杂度做个小范围搜索。
4.2 权重级二值化：注意力分数向高贡献连接集中
Z1T的另一个核心操作是对注意力权重矩阵做“值级稀疏”——注意力分数做完softmax以后，直接保留最大的K个权重，其余全部置零。这里的K不用固定，可以用一个阈值来控制，比如保留注意力概率总和达到总和的95%的最小连接集合。
这就是一个自适应的稀疏化过程。在推理阶段，哪怕底层的概率硬件把某些小权重噪声放大，这些被放大噪声的权重依然是零，根本不受影响。保留的那部分权重（注意力概率之和占95%）才是计算的主力军，这部分的信噪比足够高，抗噪能力已经在训练阶段被磨炼过了。
需要特别注意：softmax之后再做稀疏和softmax之前做稀疏是完全不同的两件事。softmax之前做Top-K稀疏，等价于修改注意力分布，模型训练时会收敛到“少数强连接”的注意模式；softmax之后做Top-K截断，则是在合法分布上的后处理，概率语义不会破坏。Z1T选择在softmax之后做稀疏，就是为了保留概率分布的可解释性，让注意力分数的总和始终等于1（截断后再重新归一化），这样残差连接的统计特性不会被破坏。
4.3 前馈网络的Top-K稀疏与稠密残差支路
前面FFN部分已经提到Top-K置零，这里再补一个关键设计细节：Z1T在FFN旁边加了一条稠密的低维残差支路。这条支路不需要太大，比如中间维度只有64维，但它是稠密的。
为什么要这么设计？因为FFN做了96%的稀疏化以后，虽然切断了大量噪声通道，但也可能丢失一些细微的模式信息。那条低维稠密支路相当于一个“无损侧信道”，即使FFN主路的Top-K筛选失灵（比如硬件噪声导致选中的K个位置不准确），侧信道依然可以传递基本的特征信息。整层的输出公式变成了：
\(y = \text{LN}(x + \text{SparseFFN}(x) + \text{DenseProjection}(x))\)
这个设计的代价是增加的参数量和计算量都很小（低维投影的FLOPs远低于稠密FFN），但换来的鲁棒性提升非常可观。我在消融实验里试过去掉这条侧信道，在概率硬件噪声模拟下准确率掉了将近4个百分点，说明这条“窄但稳”的通道确实在扛噪方面有不可替代的作用。
5. 训练方法：直通估计器与噪声注入
5.1 训练流程：先稠密预训练，再稀疏微调，最后噪声适配
从零开始训练一个带Top-K截断的稀疏Transformer是非常困难的，因为梯度很难穿过离散的K选择操作传到被截断的权重上。所以Z1T的训练分了三个阶段：
第一阶段：标准稠密预训练。先在常规GPU上用标准Transformer架构跑预训练，让模型学到合理的表示。这一步是为了避免“稀疏约束太早加入导致模型欠拟合”。
第二阶段：稀疏结构微调。在这个阶段，把注意力后处理和FFN Top-K截断加入模型，同时用直通估计器让梯度绕过不可导的K选择操作（下一小节细说）。初始的大学习率可以保留，但要在验证集上监控稀疏比例是否稳定。
第三阶段：噪声注入适配。这是Z1T训练流程里比较有特色的环节——在loss函数上加一个噪声稳定性惩罚项，并让权重更新过程对噪声鲁棒。我会在5.3展开。
5.2 直通估计器在Top-K截断中的应用
Top-K操作本身不可导，比如你取第K大的值的索引，然后把这个索引之外的位置置零，梯度无法直接回传到那些被置零的位置。Z1T采用的是一个很实用的技巧：直通估计器（Straight-Through Estimator, STE）。
核心思想是：前向传播的时候老老实实做Top-K截断，反向传播的时候把截断操作当成恒等函数——被置零的位置梯度直接穿透，就当它们没有被置零。这样权重更新的整体方向是正确的，梯度流不会断掉。但是有几个坑：
STE在Top-K这种场景下，可能会让某些权重产生“反馈振荡”：一个权重这一轮因为被截断而没收到梯度，下一轮又因为某次前向中侥幸进了Top-K，梯度突然变大。这种不稳定性在训练中后期会造成损失曲线震荡。解决办法是给Top-K的K值加一个衰减策略：训练开始时K设大一点（比如256），随着训练进行逐步降低到目标值（比如64）。这个过程让模型慢慢适应稀疏约束。
直通估计器的梯度噪声和概率硬件的权重噪声是两个不同来源的噪声，如果同时存在，梯度更新会有被噪声污染的风险。Z1T在第二阶段微调时注意控制batch size，保证每个batch的梯度方差足够小，否则稀疏掩码选择的稳定性会受到影响。
实践中我发现，STE在Transformer的所有层上统一应用时效果不好，尤其对LayerNorm的scale参数影响很大。我的经验是对注意力层和FFN层分别控制学习率，注意力层的学习率设为FFN层的一半。原因是注意力的Top-K选择对梯度噪声更敏感，K个连接之间的边际差异本来就很小，学习率过大容易让选择结果反复横跳。
5.3 概率噪声注入：在训练时就让模型适应硬件
Z1T训练中最重要的一个部分是噪声注入。你的模型最终要跑在概率硬件上，如果在训练阶段不给模型“打疫苗”，部署时必然出问题。具体做法是在前向传播时给权重、激活值加上符合硬件特性的随机扰动。
以RRAM存算一体为例，我通常会加两类噪声。一类是加性高斯噪声，模拟读噪声和权重漂移，标准差设为目标硬件规格的1/3到1/2（比如硬件噪声标准差0.02，训练时就用0.006-0.01）。另一类是量化噪声和比特翻转噪声，模拟写入时的离散化误差。
噪声注入有一个细节值得提——不能从头到尾都用固定噪声强度。我建议训练初期噪声强度设为零，让模型先拟合数据分布，训练中期噪声强度逐步上升到目标值，训练后期维持目标噪声并做验证集效果监控。如果整个训练过程都用固定高噪声，模型很难收敛到一个好的初始点。
在loss设计上，Z1T用了一个正则化项：每次前向计算时，让模型在噪声环境下的输出和无噪声环境下的输出做MSE约束：
\(\mathcal{L} = \mathcal{L}{\text{task}} + \lambda \cdot \mathbb{E}{\varepsilon}[|f_\theta(x; w+\varepsilon) - f_\theta(x; w)|^2]\)
这个惩罚项直接约束“噪声引起的输出漂移”最小化。lambda系数很重要，太小了没有约束效果，太大了会损害基础任务精度。我的经验值是先设为0.01，观察验证集曲线，如果噪声鲁棒性提升不多但精度明显下降，就降到0.005；如果噪声下的验证精度提升明显，就升到0.02。这个搜索过程一般两三个来回就能找到不错的平衡点。
需要额外说明的是，噪声注入不是只在训练时做。部署到真正的概率硬件之前，建议先在模拟器上做一次“虚拟部署验证”——把训好的模型读取一遍，在模拟器上跑完整验证流程，看每个模块对噪声的实际容忍度。这一步能发现很多纯算法层面注意不到的瓶颈，比如哪一层对噪声最敏感、哪些权重需要额外的硬件保护。
6. 实验验证与对比：稀疏度、鲁棒性、硬件适配效果
6.1 实验设置：模拟器选择与参数配置
我用的实验环境是基于PyTorch搭建的，但每次实验都要同时跑两个版本：一个纯GPU上跑的“理想版本”，一个在硬件噪声模拟器中跑的“退化版本”。
硬件噪声模拟器参考的公开参数是RRAM阵列的典型规格：权重扰动方差 \(\sigma^2 = 0.001\)，ADC量化噪声等效为8bit，读噪声标准差约0.01。如果你是第一次接触概率硬件模拟，建议从一个更简单的假设开始——把每个权重加同方差高斯噪声，先跑通整个流程，再逐步加入更细的噪声模型。硬件的噪声特性往往比高斯更复杂，但高斯假设是评估算法鲁棒性的很好起点。
6.2 关键结果：稀疏比例与准确率下降的平衡
我在图像分类（CIFAR-10/CIFAR-100）和语言建模（WikiText-2，小规模）上做了对比实验，这里拿CIFAR-10的结果做一个说明：
| 模型 | 稀疏率 | 无噪声准确率 | 加噪准确率 | 准确率下降幅度 |
|---|---|---|---|---|
| 标准ViT-Base | 0% | 97.2% | 82.4% | 14.8% |
| 标准ViT-Base + 稀疏剪枝 | 85% | 96.4% | 88.1% | 8.3% |
| Z1T（局部窗口=64, Top-K=64） | 92% | 96.1% | 93.8% | 2.3% |
可以很直观地看到，Z1T在理想环境下的准确率只比ViT-Base低1.1个百分点，这在稀疏度达到92%的前提下是非常划算的交换。关键是在加噪条件下，Z1T只掉了2.3个百分点，而两个对比版本分别掉了14.8和8.3个百分点。稀疏带来的抗噪红利远远大于它带来的精度损失，这就是Z1T存在的意义。
语言建模的结论类似，但有一个更细微的观察：词表越大、输出维度越高的任务，Z1T的抗噪优势更明显。因为Logits的高维输出空间本身对噪声很敏感，稀疏化让关键路径集中在少数高置信token上，噪声不容易把正确的token挤出Top-K行列。
6.3 值得关注的三个消融实验结论
第一，窗口大小的选择会直接影响鲁棒性。我把窗口从64增大到128后，无噪声精度基本不变（甚至微涨），但加噪后准确率明显掉了2%左右。原因是窗口变大意味着局部注意力的噪声累积路径变长。所以窗口尺寸的调参依据不完全是任务需求，也要考虑目标硬件的噪声水平。
第二，Top-K的K值和鲁棒性之间不是单调关系。K太大，噪声通道变多；K太小，模型表达力不够。我在FFN层试过K=128、64、32三个档位，发现K=64时综合效果最好。K=32虽然抗噪最强，但无噪声精度明显下降；K=128虽然精度高一点，但加噪后下降幅度偏大。这个平衡点和模型的宽度、训练数据规模都有关联，大家实作时最好跑一个小规模超参搜索。
第三，直通估计器的应用层数会影响最终效果。只对FFN层用STE、注意力层保持可导稀疏无效，因为注意力层的噪声通道不清除，整体抗噪就会受限。反过来，只对注意力层做STE、FFN保持稠密，效果也比两者同时做差不少。Z1T的整体收益来自注意力稀疏和FFN稀疏的协同，这是消融实验中一个反复被印证的结论。
6.4 与现有方法的协作：结构剪枝、量化、知识蒸馏的结合
Z1T不是孤立的方案，它和现有的压缩技术是兼容的。我实验了三种组合路径。
第一种是Z1T + 剪枝。结构化剪枝主要剪掉的是冗余的注意力头，Z1T的局部稀疏注意力模式天然兼容头剪枝。在剪掉30%的注意力头后，Z1T的无噪声精度只掉了0.5%，噪声场景下几乎无额外损失。这说明Z1T的稀疏性设计和冗余头之间的关系是彼此独立的。
第二种是Z1T + 量化。8bit量化把权重范围压到更小，这在RRAM上是直接利好，因为器件只需要承载更窄的电阻分布，写操作更可控。Z1T在8bit量化+噪声注入下的性能，和16bit浮点且带噪声的情况几乎持平。更低比特的4bit量化，Z1T的下降幅度小于标准Transformer，但绝对值还不足以商用，不建议追求过低的比特。
第三种是Z1T + 知识蒸馏。用稠密的标准Transformer做教师，Z1T做学生，蒸馏可以弥补Z1T稀疏化带来的精度损失。在我的实验里，蒸馏让Z1T在无噪声情况下追平了标准ViT-Base，而抗噪能力比直接训练的Z1T还要再强一截。原因是教师模型提供的软标签让学生的决策边界更平滑，对噪声更钝感。
7. Z1T的局限、适配场景和工程部署清单
7.1 哪些场景不太适合Z1T
Z1T不是万金油。如果目标硬件是很成熟的GPU或专用ASIC——这类硬件本身就几乎没有随机扰动——直接用Z1T的稀疏化会牺牲精度，却换不来额外的抗噪收益，意义不大。Z1T的价值只有在“硬件本身不完美”的前提下才成立。
另外，有些任务天然对远距离密集交互要求极高，比如超大上下文下的代码生成、文档摘要。Z1T用少量全局Token去压缩远距离依赖的做法，在这种场景下可能喂不饱模型。我实测过64K上下文的语言模型，Z1T的困惑度（perplexity）比标准Transformer高了不少。稀疏结构比较适合中短上下文任务，长上下文任务需要更精细的全局Token设计和训练策略来弥补限制。
7.2 从算法到芯片的协作部署清单
如果你要在实际项目中落地Z1T，我会强烈建议把算法设计、仿真验证、硬件适配三个环节同时启动。下面这六条是我反复用到、也反复被验证的工程要点，可以当成一份落地检查表：
仿真和算法要同步启动。不要等模型训练完了再考虑硬件噪声，应该从第一天就写一个噪声模拟器，哪怕它再粗糙，也能帮你提前感知到模型的抗噪基础水平。
先明确硬件的噪声预算。目标硬件的噪声标准方差是多少？量化比特是多少？这些参数决定了你的训练噪声注入强度和稀疏度的目标值。硬件团队如果还没有数据，就先用公开文献里的典型值。
设计RTL仿真与算法演进的交替迭代闭环。纯算法模拟器跑通之后，尽快拿一组真实硬件数据（哪怕只有几百个样本）来回测模型的噪声鲁棒性，用真实数据修正模拟器。我见过太多项目整个算法流程都跑完了，才发现真实硬件的噪声特性和模拟器差距太大，最后整套方案推倒重来。
设计关键权重的保护逻辑。稀疏模型非零权重数量少，你有机会给这些关键权重做冗余存储或纠错编码。Z1T的注意力稀疏权重和全局Token连接权重，建议列为“需要额外保护”优先实现，代价小收益大。
7.3 布置一个最小化可运行示例的思路
说实话，Z1T这个方向不适合直接上手就做复杂任务，建议按阶段推进：
- 先用PyTorch实现一个极小的Transformer（比如2层、注意力维度64），加上Top-K稀疏和噪声注入，用CIFAR-10这种轻量任务跑通整个流程。
- 验证STE在你的实现里梯度是否正确（对比数值梯度和反向传播梯度）。这一步容易出问题的地方是Top-K选择的梯度索引和
scatter操作不匹配，导致梯度更新到错误的位置。 - 逐步加入局部窗口注意力、全局Token、低维稠密侧信道这些Z1T专属设计，每加一个模块就在噪声模拟器里测一次模型鲁棒性。
- 最后如果手头有硬件团队，把模型部署到实际阵列或FPGA原型上做真实验证。
我在第二步上踩过很大的坑，当时Top-K的索引用了torch.topk返回的indices，却忘了在梯度计算时保证这个索引的连续性和可导性，结果训练到一半loss直接飞了。后来用torch.argmax加one_hot的方式重新实现掩码生成，用detach()切断索引部分的梯度，问题才解决。如果你自己写代码时，建议先用小网络验证掩码的梯度行为再大规模训练，别问我怎么知道的。
8. 一个被低估的设计细节：残差连接与LayerNorm在概率硬件下的重新审视
前面各章基本把Z1T的主线设计讲完了，这条章补充一个容易被忽视但实际影响很大的点——残差连接和LayerNorm在概率硬件下的表现。在标准Transformer中，残差连接是稳定训练的基石，它让深层网络有了恒等映射的退路。但在概率硬件上，残差连接也有它的双面性。
先看残差的好消息。当一个模块的输出被噪声污染时，残差连接相当于提供了“绕行路径”，信号可以直接跳过该模块从更早的层拿到未污染的信息。在强噪声条件下，模型可以学成“接近恒等映射”的行为，这样精度不至于完全崩坏。Z1T的低维稠密侧信道本质上就是在FFN路径上提供了一条更可控的残差捷径。
但残差的坏消息也同样明显。如果残差路径上直接累加了两项都带噪声的信号，噪声就是两者方差的和，反而被放大了。尤其在高噪声场景下，残差连接的存在意味着即便单个模块做得再好，噪声依然可以沿着恒等路径传递下去。Z1T在这个问题上给出的做法是：在残差汇总之前，对每个模块的输出都做一次稀疏投影——把模块输出映射到一个低维子空间，再做残差相加。这个投影矩阵是可学习的，训练后它会放大稳定、高信噪比的维度，衰减噪声维度。这样残差相加的时候，两条支路的“信噪比”是经过调制的，噪声叠加效应被显著抑制。
LayerNorm在概率硬件上的故事则更像一把双刃剑。一方面，LayerNorm对激活值做标准化，确实能在一定范围内对抗加性噪声——尺度不变性让模型对权重漂移不那么敏感。但另一方面，LayerNorm使用的均值和方差统计量本身也在噪声影响下。当某个token位置上的激活被噪声推高时，LayerNorm会把整个序列的统计量拉偏，导致其他token的表示被连带扭曲。Z1T没有去掉LayerNorm，而是在训练时对这些统计量做了特殊的噪声增强——在计算均值和方差时故意加入采样扰动，让模型学会“统计量本身也不完美”的表示方式。这和主章里噪声注入的思路一致，但是细到了LayerNorm这一层的设计，值得在做类似工作的人参考。
在实际测试中，Z1T在把LayerNorm的统计噪声增强关掉后，加噪准确率掉了1.8个百分点——这个数字说明LayerNorm层的噪声处理不能被轻描淡写地跳过。如果你在复现Z1T，或者设计自己的概率硬件友好Transformer，记得把残差和归一化的噪声处理当作独立模块来看待，不要默认它们一定能扛住硬件的不完美。
