随机计算与ViT硬件加速：混合架构如何突破AI芯片能效墙-平芜编程栈

1. 项目概述：当ViT遇见随机计算

最近在硬件加速领域，一个名为“ASCEND”的项目引起了我的注意。这本质上是一个专门为Vision Transformer（ViT）模型设计的硬件加速器，但其核心创新点在于采用了“随机计算”这种非常规的电路设计范式。如果你对AI芯片、边缘计算或者模型压缩部署感兴趣，这个项目绝对值得深挖。简单来说，它试图用一套“概率游戏”的电路逻辑，去解决传统数字电路在处理ViT这种大模型时面临的功耗、面积和延迟困境。

ViT模型在计算机视觉任务上表现惊艳，但其庞大的计算量（尤其是自注意力机制中的矩阵乘法和Softmax）对硬件极不友好。传统的数字加速器依赖精确的二进制运算，需要大量的乘法器和加法器，导致芯片面积大、功耗高。而随机计算是一种用比特流的统计特性来表示和运算数值的技术。比如，一个0.5的概率值，可以用一串10比特的序列中“1”出现5次来表示。在这种体系下，复杂的乘法操作可以简化为一个与门（AND Gate），加法也能用更简单的电路近似实现。ASCEND项目的野心，就是把这套理论上能极大简化电路、降低功耗的随机计算体系，与ViT模型的计算模式深度结合，设计出一套从算法映射到硬件架构的完整解决方案。

这不仅仅是又一个学术玩具。在边缘设备、物联网终端甚至手机端，对能效比的要求是极其苛刻的。ASCEND瞄准的正是这个痛点：如何在资源受限的环境下，依然能高效运行像ViT这样的前沿视觉大模型。接下来，我会带你深入拆解这个项目的设计思路、核心挑战以及实现中的关键细节，看看这种“概率化”的硬件加速之路，到底靠不靠谱。

2. 核心思路与架构设计拆解

2.1 为什么是随机计算？—— 动机与权衡

选择随机计算作为ViT加速器的基石，是一个典型的有舍有得的工程决策。我们先看它想“得”什么。

核心优势：极致的硬件简化与能效潜力。在随机计算域中，乘法运算的硬件成本被降至最低。两个用比特流表示的概率值相乘，理论上只需要一个简单的与门（AND Gate）。对比传统数字电路中的乘法器，后者需要大量的逻辑门和布线，面积和功耗都高得多。对于ViT模型中无处不在的矩阵乘法（MatMul），尤其是自注意力模块中的Q、K、V矩阵运算，这种简化带来的收益是指数级的。此外，一些非线性函数（如Softmax中的指数运算）在随机计算域中也有相对高效的近似实现方式，这进一步减少了对复杂函数计算单元（如查找表LUT或CORDIC算法单元）的依赖。

必须面对的“舍”：精度损失与转换开销。随机计算并非完美银弹。其最根本的代价在于精度和确定性。数值由比特流的统计特性表示，必然存在随机波动。流长（比特序列的长度）直接决定了表示精度和计算精度。流长越长，精度越高，但计算延迟也线性增加。这是一个需要精心权衡的参数。另一个关键开销是数域转换。输入数据（如图像像素、模型权重）最初是确定性的二进制数，必须转换为随机比特流（这个过程称为随机化，通常通过比较均匀随机数与目标值实现）。同样，计算结果也需要从随机比特流转换回确定的二进制数（通过计数器统计“1”的个数）。这些转换电路（随机数生成器、比较器、计数器）本身会引入额外的面积和功耗开销。

ASCEND项目的设计精髓，就在于如何通过体系架构层面的创新，最大化随机计算的“得”，同时最小化其“舍”。它不是简单粗暴地将整个ViT模型扔进随机计算电路，而是进行了深度的协同设计。

2.2 ASCEND整体架构：一种混合数域设计

纯随机计算架构很难满足现代深度学习模型对精度和稳定性的要求。因此，ASCEND采用了一种混合数域的异构架构。这是其设计中最关键的一步。

1. 计算路径划分：什么该随机，什么该确定？ASCEND没有对所有运算一视同仁。它根据ViT模型中不同运算的特性和对误差的敏感度，进行了精细的划分：

随机计算域（Stochastic Domain）：处理计算密集型、对微小误差相对不敏感的线性运算。这主要是自注意力机制中的大规模矩阵乘法（Q@K^T 和 Attention@V）。这些操作占据了ViT绝大部分的计算量，将其映射到随机计算域，可以最大化地享受面积和功耗的收益。即使存在一些随机波动，只要在统计意义上正确，对最终模型输出的影响可以通过模型本身的容错性和后续的确定域计算进行一定程度的纠正。
传统数字域（Deterministic Domain）：处理控制密集型、非线性、对精度要求极高的运算。这包括：
- Layer Normalization：涉及均值和方差的计算，需要高精度。
- Softmax：虽然指数运算在随机域有近似，但除法和对精度要求极高的归一化操作在数字域实现更稳定、更高效。
- GELU/SiLU等激活函数。
- 残差连接（Add）和最后的分类头（Classifier Head）。

这种划分使得ASCEND成为一个异构加速器，内部同时包含了随机处理单元（SPU）和传统的数字处理单元（DPU，如定点乘加阵列）。

2. 数据流与存储层次设计为了支撑混合计算，ASCEND需要一套高效的数据搬运和存储体系。

片上缓存：设计了大容量的SRAM作为全局缓存，用于存储输入特征图、中间注意力矩阵以及模型权重。由于随机计算需要流长倍的比特流数据，对存储带宽提出了特殊要求。ASCEND可能采用了权重静态/特征图动态随机化的策略：将预计算好的权重随机比特流预先存储在片上，而输入特征图则在运行时动态生成随机流，以平衡存储开销和灵活性。
数域转换单元（DCU）：这是连接随机域和数字域的桥梁。包含：
- 二进制到随机（B2S）：由随机数生成器（RNG）和比较器构成，将数字域数据转换为比特流。RNG的设计至关重要，其随机性和硬件成本需要折中。线性反馈移位寄存器（LFSR）因其面积小、速度快，是常见选择。
- 随机到二进制（S2B）：本质上是计数器，统计比特流中“1”的个数，还原为数值。
控制器：一个轻量级的指令集控制器，负责调度数据在混合架构中的流动，协调SPU和DPU的工作，管理数域转换的时机。

2.3 针对ViT的计算图优化与映射

有了混合架构，下一步就是将ViT模型的计算图高效地映射上去。这里有几个关键优化：

1. 注意力计算的随机化重构标准自注意力计算包含QK^T、Scale、Softmax、乘以V几个步骤。ASCEND不会天真地将整个流程随机化。一个更可行的策略是：

在数字域计算Q和K矩阵（或从缓存中读取）。
将Q和K的随机比特流送入SPU，进行随机域矩阵乘法，得到注意力分数（未缩放）的随机流表示。
将注意力分数流转换回数字域，进行缩放（除以sqrt(d_k)）和Softmax计算（在数字DPU中完成，保证稳定性）。
将Softmax结果和V矩阵再次转换为随机流，在SPU中完成最后的Attention @ V乘法。这样，最耗时的两个大矩阵乘法被随机化，而精度敏感的缩放和归一化留在数字域。

2. 流长自适应策略固定流长要么浪费（对于简单数据），要么精度不足（对于复杂数据）。ASCEND可能会引入动态流长机制：根据当前计算张量的数值范围或重要性（例如，通过一个轻量级预测器），动态调整B2S转换的流长。对于数值分布集中、对最终输出影响小的中间结果，使用较短流长以提速；对于关键路径上的计算，则使用较长流长以保证精度。

3. 核心电路设计与实现细节

3.1 随机处理单元（SPU）的微架构

SPU是ASCEND的算力核心。其设计直接决定了随机计算的效率和精度。

1. 随机乘法单元（SMU）这是最基础的单元。如前所述，一个二输入随机乘法器就是一个与门。但在实际中，我们需要处理有符号数、多位宽数据以及并行化。

有符号数处理：随机计算表示有符号数（如区间[-1, 1]）通常采用双轨编码（用两个比特流分别表示正部和负部）或使用异或门（XNOR）作为乘法器。ASCEND需要根据ViT权重和激活值的实际分布（通常经过量化后是非负的，如INT8）来选择合适的编码，简化电路。
标量乘法阵列：为了完成矩阵乘法，需要部署大量的SMU并行工作。一个MxN与NxP的矩阵乘，需要M*P*N个乘法操作。ASCEND会设计一个二维的SMU阵列，每个处理单元（PE）包含多个SMU，以数据流（systolic）或并行广播的方式组织，最大化数据复用，减少随机比特流的生成和搬运开销。

2. 随机加法/累加单元随机域的加法比乘法复杂。简单的或门（OR）或复用器（MUX）可以实现近似加法，但会引入偏差。更精确的方法包括：

加权加法器：使用一个随机选择器（另一个随机流控制），选择两个输入流中的一个作为输出。通过控制选择流的概率，可以实现带权重的加法。
近似计数器：先将多个随机流通过或门等简单逻辑压缩，再通过一个精度较高的计数器转换回数字域进行精确累加。这是一种混合策略，在SPU内部进行初步压缩，减少需要传输到S2B单元的数据量。 ASCEND的SPU内部很可能集成了一些简单的近似累加逻辑，但大规模的精确求和可能仍依赖数字域的累加器，这再次体现了混合架构的优势。

3. 随机数生成器（RNG）阵列这是B2S转换的核心，也是功耗和面积的重要贡献者。一个大型的SPU需要成千上万个并行的RNG来同时生成多路随机比特流。

LFSR的共享与优化：直接为每个通道部署独立的LFSR成本太高。常见优化是使用一个或少数几个高质量的主LFSR，通过不同的抽头或延迟线来衍生出大量伪独立的子序列，供给各个比较器使用。这需要在随机性和硬件成本间取得平衡。
比较器设计：将输入数值与RNG产生的随机数比较，输出‘0’或‘1’。这个比较器需要低功耗、高速设计。

3.2 数域转换单元（DCU）的精度-效率折衷

DCU的设计参数直接决定了系统的整体性能和精度。

1. B2S转换：流长与随机性的管理

流长选择：这是最重要的设计参数之一。需要在系统层面进行仿真确定。例如，对于ImageNet分类任务，可能通过实验发现，注意力矩阵乘法使用128或256的流长，在模型精度下降（如Top-1准确率损失）小于1%的情况下，能取得最佳的能效比。ASCEND的论文或实现必须给出这个关键的权衡曲线。
随机性质量：LFSR产生的序列是伪随机的，周期有限。如果流长接近或超过LFSR的周期，相关性会导致严重的计算误差。必须确保使用的LFSR位数足够（例如，32位或64位LFSR），其周期远大于最大流长。

2. S2B转换：计数器与精度恢复

计数器结构：简单的上行计数器即可。但对于高流长（如1024），计数器位数增加，延迟和面积也会增长。可以考虑使用近似计数器或分段计数技术来优化。
精度提升技巧：单纯的计数会引入量化误差。可以采用随机舍入技术：在计数完成后，额外引入一个随机过程来决定是否加1，使得统计期望更接近真实值，可以无偏地减少系统误差。

3.3 内存子系统与数据复用优化

ViT模型参数和中间特征图巨大，内存访问是功耗的主要来源。ASCEND的存储设计必须考虑随机计算的特性。

1. 权重比特流预存储为了减少运行时开销，可以将训练后并量化好的ViT权重，预先转换为随机比特流，并存储在片上SRAM中。这样，在推理时，SPU可以直接读取这些“权重流”进行计算，省去了大量的实时B2S转换。但这会显著增加存储需求：一个标量权重需要扩展为一条长度为L的比特流。因此，必须采用权重压缩技术，例如：

游程编码：对于权重流中连续的‘0’或‘1’进行编码。
共享权重流：发现模型中不同位置但值相近的权重，共享同一条随机比特流，通过偏移量调整。

2. 特征图流的动态生成与缓存输入特征图每个批次都不同，无法预存储。因此需要高效的动态B2S转换。ASCEND可能采用分层转换和缓存策略：将数字域的特征图块从DRAM加载到片上SRAM后，由一组并行的DCU（B2S）按需转换为随机流，并送入一个随机流缓存中，供SPU阵列多次复用（例如，在计算注意力时，同一个Q向量需要与所有K向量相乘）。设计高效的随机流缓存替换策略是关键。

4. 实现流程、评估与避坑指南

4.1 从算法到硬件的协同设计流程

实现ASCEND这样的加速器，需要一个算法-硬件协同设计的迭代流程：

模型选择与量化：首先选择一个目标ViT变体（如DeiT-Tiny）。使用PTQ（训练后量化）或QAT（量化感知训练）将模型权重和激活值量化到低比特（如INT8）。注意：量化范围（scale/zero_point）的确定会影响后续随机化的效率，需要仔细校准。
计算图分析与划分：使用工具（如TVM、MLIR）解析量化后的模型计算图。根据预先定义的规则（线性/非线性、误差敏感度），自动或手动将算子标记为“随机域”或“数字域”。生成一个混合计算图。
架构探索与建模：用高级建模语言（如SystemC、Python）搭建ASCEND架构的周期近似模型。关键参数包括：SPU阵列大小、缓冲容量、RNG类型、流长L、数据位宽等。用这个模型执行混合计算图，评估性能（吞吐、延迟）和精度（与浮点模型的差距）。
RTL实现与综合：使用硬件描述语言（Verilog/VHDL）实现确定好的架构。重点模块包括：SPU阵列、DCU、内存控制器、顶层调度器。然后使用EDA工具（如Design Compiler）进行逻辑综合，映射到目标工艺库（如TSMC 28nm），得到面积、时序和功耗的初步报告。
协同仿真与迭代：将RTL模型与软件仿真模型联合仿真。将真实的图像数据输入，在RTL级验证功能正确性，并获取更精确的功耗和性能数据。根据结果，返回步骤3调整架构参数，甚至返回步骤1调整量化策略，直到满足目标（如：在<100mW功耗下，实现>100FPS的ImageNet推理速度，精度损失<2%）。

4.2 性能评估与对比基准

评估ASCEND不能只看理论峰值，必须建立全面的评估体系：

精度指标：在ImageNet等标准数据集上，对比ASCEND加速后的模型与原始浮点模型的Top-1/Top-5准确率。这是底线。
性能指标：
- 吞吐量：FPS（帧每秒）。需说明输入分辨率（如224x224）。
- 延迟：单张图片处理时间。
能效指标（最关键）：
- 功耗：在典型工作频率下的平均功耗和峰值功耗。
- 能效比：TOPS/W（每瓦特每秒万亿次操作）。这里需要明确定义“操作”是什么。对于随机计算，一次与门运算是否算一次操作？业界缺乏统一标准。更实际的指标是FPS/W或FPS/mm²（面积效率）。
对比基准：
- 软件基线：同一ViT模型在通用CPU/GPU上的运行效率。
- 传统数字加速器基线：使用相同工艺、相似面积实现的纯数字定点/二值化ViT加速器（如基于脉动阵列的设计）。
- 其他近似计算基线：与存内计算、忆阻器计算等其他低功耗方案进行对比。

只有全面优于或在其项关键指标（如能效比）上显著优于传统数字方案，ASCEND的设计才有实际价值。

4.3 实操中的常见陷阱与解决方案

在实际设计和实现ASCEND这类加速器时，会踩到很多坑，以下是一些实录：

陷阱一：随机性相关导致的系统性误差

现象：仿真时发现模型精度损失远大于预期，且每次运行结果波动大。
根因：大量并行的RNG之间存在相关性（如果衍生自同一个LFSR且抽头策略不好），或者流长设置过长，超过了RNG的周期，导致随机数序列出现重复模式，破坏了“独立同分布”的统计假设。
解决方案：
1. RNG独立性验证：在架构设计阶段，就对生成的数百万甚至数十亿随机比特流进行严格的统计测试（如NIST测试套件中的频数测试、游程测试）。
2. 采用更高质量的RNG：考虑使用多个LFSR组合，或者使用基于蝶形网络的置换单元来打乱序列，增加随机性。
3. 流长与周期匹配：确保选用的LFSR周期（2^n - 1）远大于最大流长L，通常要求周期 > 10 * L。

陷阱二：数域转换成为性能瓶颈

现象：仿真报告显示，B2S和S2B转换单元消耗的周期和功耗占比过高，甚至超过了SPU计算本身。
根因：DCU设计过于简单，串行工作；或者数据流安排不合理，导致频繁、小批量的转换，无法发挥流水线和并行优势。
解决方案：
1. DCU流水化与并行化：将B2S转换拆解为（生成随机数 -> 比较 -> 输出）流水线。部署多个DCU单元并行工作，以匹配SPU阵列的数据吞吐需求。
2. 数据块转换：不是逐个像素转换，而是将数据组织成块（Tile），一次性转换一个Tile的数据，提高缓存利用率和转换效率。
3. 探索近似转换：对于对精度不敏感的内部特征图，研究能否使用更简单的、有偏的转换器来降低功耗。

陷阱三：混合架构调度复杂，硬件利用率低

现象：SPU和DPU经常有一个在空闲等待，整体硬件利用率（Utilization）低下。
根因：计算图划分不均衡，或者任务调度器（Controller）设计简单，无法有效隐藏数据搬运和数域转换的延迟。
解决方案：
1. 双缓冲（Double Buffering）：在SPU计算当前数据块时，预取和转换下一个数据块，实现计算与数据搬运的重叠。
2. 动态调度：设计一个更智能的微码控制器或小型可编程内核，能够根据实时负载动态调整SPU和DPU的任务分配。
3. 性能建模与剖析：在早期建模阶段就加入详细的调度仿真，识别出关键路径和空闲周期，针对性地优化数据流。

陷阱四：工艺角（Corner）变化导致功能失效

现象：芯片流片回来后，在高温高压（FF corner）或低温低压（SS corner）下，电路工作不正常，精度暴跌。
根因：随机计算电路，特别是比较器和计数器，对时序非常敏感。工艺角的变化会导致关键路径延迟变化，可能使比较结果出错或计数器溢出。
解决方案：
1. 保守的时序约束：在综合和布局布线阶段，对随机计算路径施加更严格的时序约束，留足裕量（Slack）。
2. 片上监测与校准：可以集成简单的在线测试电路，在芯片启动时，检测RNG的随机性和关键路径的延迟，必要时动态调整工作频率或电压，确保在所有工艺角下功能正常。
3. 冗余设计：对于最关键的S2B计数器，可以采用纠错码或三模冗余等容错设计。

5. 总结与展望：随机计算加速器的现实与未来

ASCEND项目为我们展示了一条通过激进的计算范式变革来挑战AI芯片能效墙的路径。它将随机计算从理论实验室，推向了一个具体的、热门的深度学习模型（ViT）的加速实践。通过混合数域的架构设计，它巧妙地规避了纯随机计算精度低的短板，同时抓住了其简化核心计算（矩阵乘）的巨大优势。

从我个人的工程视角看，这类设计的商业化落地仍面临挑战。最大的障碍来自于其设计的特异性和工具的缺失。与成熟的GPU或通用AI加速器（如NPU）相比，随机计算加速器需要从算法量化、计算图划分、到硬件架构、RTL实现的全程深度定制。缺乏像CUDA或TensorRT这样成熟的软件栈和编程模型，会极大地提高开发和应用门槛。此外，随机性引入的非确定性，在诸如自动驾驶、医疗诊断等要求功能安全（FuSa）的领域，可能需要更复杂的验证和容错机制。

然而，它的潜力是毋庸置疑的。在极端追求能效比的场景——例如，永远在线的视觉感知物联网设备、植入式医疗设备、或大规模部署的智能摄像头——ASCEND所代表的思路可能成为打破功耗瓶颈的关键。未来的演进方向可能会集中在：