1. 项目概述：当量子计算遇上FPGA神经网络加速
在量子计算这个前沿领域，我们每天都在和“脆弱”打交道。这里的脆弱，指的是量子比特（Qubit）那转瞬即逝的相干时间，以及读取其状态时极易引入的误差。无论是串扰、自发跃迁还是读取脉冲本身带来的激发，都让精确测量量子态成为一个充满挑战的“快问快答”游戏。尤其在多量子比特系统中，频率复用读取技术虽然提高了效率，但后续的信号处理——即从混合的信号中快速、准确地判别出每个量子比特是处于基态（|0>）还是激发态（|1>）——就成了制约整个系统性能，特别是量子纠错（QEC）协议执行效率的瓶颈。
传统方法，比如匹配滤波器，虽然经典，但在处理复杂串扰和非线性特征时往往力不从心，且延迟较高。近年来，神经网络（NN）因其强大的模式识别能力，在量子态判别任务中展现出了超越传统方法的潜力。然而，一个现实的矛盾摆在面前：神经网络的强大性能通常伴随着庞大的计算量和参数规模，这与量子读取所要求的“超低延迟”和“硬件友好”背道而驰。直接将一个动辄百万参数的浮点网络塞进负责实时控制的硬件（如FPGA）里，几乎是不可能的任务。
这就引出了我们这次实践的核心：如何将神经网络的判别能力，与FPGA的并行计算优势、低延迟特性相结合，并最终压缩到一个能在50纳秒内完成五量子比特状态判别的硬件加速器里？答案的关键在于“量化”（Quantization）与“协同设计”（Co-design）。这不是简单的软件模型硬件化，而是一场从算法架构、数据表示到硬件逻辑的深度协同优化。我们最终在Xilinx的RFSoC ZCU111平台上，实现了延迟低于50纳秒的判别系统，为实时量子纠错迈出了坚实的一步。如果你正在从事量子测控、边缘AI加速或高性能嵌入式系统开发，这篇关于如何“驯服”复杂神经网络以适应极端延迟约束的实战记录，或许能给你带来一些启发。
2. 核心思路与架构选型：为何是量化神经网络与FPGA？
在深入代码和电路之前，我们必须先理清设计哲学。量子态判别的核心需求可以归结为三点：高保真度（Fidelity）、超低延迟（Latency）、以及可扩展性（Scalability）。任何方案都需在这三者间取得平衡。
2.1 传统路径与神经网络路径的权衡
早期的量子读取多采用数字解调（Digital Demodulation）加匹配滤波器（Matched Filter）的方案。这种方法为每个量子比特独立处理，在比特数增多时，资源消耗线性增长，且对读取通道间的串扰（Crosstalk）抑制能力有限。神经网络，特别是全连接网络（Fully Connected Network），提供了一种端到端的解决方案。它直接接收下变频后的I/Q两路原始采样数据（或经过简单预处理），通过多层非线性变换，直接输出每个量子比特的状态概率。其优势在于：
- 隐式处理串扰：网络能从数据中自动学习并补偿量子比特间的相互影响，无需显式建模。
- 统一处理流程：无论多少量子比特，输入是合并的复用信号，输出是独立的比特状态，架构统一，利于扩展。
- 性能上限高：在足够数据和合适架构下，其判别保真度理论上限优于线性方法。
然而，直接套用大型神经网络的代价是巨大的。文献中一个用于5量子比特的基准网络（1000-1000-500-250-32）拥有超过160万个参数，以32位浮点存储就需要约6.5MB，这还不算激活值和中间计算。在FPGA上实现这样的网络，不仅会耗尽宝贵的BRAM和DSP资源，其计算延迟也根本无法满足纳秒级的要求。
2.2 量化：从浮点到定点，从32位到2位
于是，模型量化成为破局的关键。量化的本质是降低数据表示的精度，用更少的比特数（如8位、4位、2位甚至1位）来表示原本32位的权重和激活值。这带来了立竿见影的好处：
- 存储开销骤降：2位权重相比32位浮点，存储需求减少为1/16。
- 计算效率飙升：FPGA擅长处理低位宽的整数运算，低比特乘法器在面积和速度上远优于高精度浮点运算单元。
- 内存带宽压力缓解：低位宽数据意味着在相同带宽下能搬运更多数据，有利于提升并行度。
但量化并非无损压缩，粗暴的量化（如训练后直接截断）会导致模型精度（保真度）严重下降。因此，我们采用了量化感知训练（Quantization-Aware Training, QAT）。在训练过程中，我们就模拟量化效应，让模型在“知道”自己将来会被低精度表示的前提下进行学习，从而学会适应这种扰动，在部署到低精度硬件时保持较高的精度。我们使用Brevitas库在PyTorch框架内轻松实现了这一点。
2.3 硬件载体：为什么是RFSoC FPGA？
FPGA（现场可编程门阵列）是实现定制化、低延迟计算的理想平台。而RFSoC（射频片上系统）更是为我们的应用量身定做：
- 硬核数据转换器：集成了高速、高精度的RF-ADC和RF-DAC，能直接处理GHz级别的射频信号，省去了外接数据转换卡的成本与延迟。
- 可编程逻辑（PL）：提供极致的并行性和确定性延迟。我们可以将量化后的神经网络模型，通过工具链（如FINN-R）编译成高度并行的数据流（Dataflow）架构，其中每一层计算都可以流水线化，数据像在流水线上一样被连续处理，从而实现极低的处理延迟。
- 处理系统（PS）：可运行Linux等操作系统，负责系统管理、配置加载以及与上位机通信，实现软硬协同。
我们的目标，就是在RFSoC的PL部分，构建一个专为量化神经网络推理服务的加速器IP核，使其能够紧接在数字下变频（DDC）模块之后，以流水线方式实时处理I/Q数据流。
实操心得：架构选型的核心矛盾在量子测控中，延迟是硬指标。我们的设计始终围绕“数据路径最短化”和“计算并行化”展开。量化解决了“算得起”的问题，而FPGA的数据流架构解决了“算得快”的问题。选择FINN-R而非其他自动化工具（如Vitis-AI），正是因为其数据流架构能实现更低的延迟，尽管它可能消耗更多的逻辑资源。这是一个典型的用“面积换速度”的策略，在量子纠错这类对时间极度敏感的应用中是值得的。
3. 从软件模型到硬件架构的协同设计
有了量化技术和FPGA平台，下一步就是设计一个既准又快的网络模型，并找到将其高效映射到硬件的最佳方式。这个过程是算法和硬件深度交织的“协同设计”。
3.1 模型精简与量化策略探索
我们从一个较大的基准模型（输入1000维，三层隐藏层1000-500-250，输出32维对应2^5种状态组合）出发，但很快发现其冗余。
输出层简化：首先，我们将输出层从32个节点（对应所有状态组合）改为5个节点（每个节点对应一个量子比特的基态/激发态判别）。这通过使用
BCEWithLogitsLoss损失函数实现，不仅大幅减少了参数，更使模型复杂度与量子比特数呈线性而非指数关系，这是实现可扩展性的关键一步。输入与隐藏层压缩：通过实验系统性地裁剪网络规模（图3.a）。我们发现，将输入特征从1024点（通过Boxcar积分从原始I/Q数据提取）降至512点，对保真度影响微乎其微（<0.3%）。同样，隐藏层从3层减少到2层甚至1层，并缩小每层神经元数量，保真度下降也很有限。最终，我们选定了一个紧凑的架构：512 × 64 × 5（输入层512维，单个隐藏层64维，输出层5维）。这个模型在保真度和复杂度之间取得了很好的平衡。
精度位宽搜索：我们对输入、权重、激活值进行不同位宽的量化组合实验（图3.b-d）。结论非常关键：
- 输入需要较高精度：输入量化低于4位时，保真度开始显著下降。这是因为原始的I/Q数据包含了判别所需的关键相位和幅度信息，需要一定的精度来保留。
- 权重和激活值可激进量化：权重和激活值可以量化到2位，而对保真度的影响很小（下降约1%）。混合精度（如权重和激活值位数不同）也未带来显著优势。
- 二值化（1位）代价高昂：当权重或激活值被二值化时，保真度会下降4%-21%，这在量子计算中通常是不可接受的。
因此，我们最终的量化方案定为：输入（4位），权重（2位），激活值（2位）。此方案下的量化网络（QNN）保真度（FGM=0.904）仅比全精度基准低0.9%，完全在可接受范围内，同时为硬件实现带来了巨大的收益。
3.2 硬件映射的挑战与创新：打破AXI-Stream的带宽墙
将训练好的量化模型（ONNX格式）导入FINN-R框架，工具会尝试将其转换为数据流图。理想情况下，每一层（如全连接层、激活层）都会被实现为一个并行处理的硬件模块（如MVTU）。然而，一个直接的挑战是AXI-Stream互联带宽的限制。
以我们的512×64隐藏层为例，它需要一次性将512个4位输入分发给64个处理单元进行计算。这需要512 * 64 = 32,768条并行连接，这远远超出了FPGA内部布线资源和标准接口的宽度。FINN-R的默认策略是进行时间复用（Time-Multiplexing），即让一部分硬件资源分时处理不同数据，但这必然会增加延迟。
为了追求极致的低延迟，我们设计了一种层内分割并行的创新架构（对应Arch-7）。具体做法（图4.a）：
- 将隐藏层的64个神经元均匀分割为8个组（Segment），每组8个神经元。
- 每个组独立且并行地接收完整的512维输入，并在组内完成
512×8的矩阵向量乘加运算。 - 这样，每个组所需的连接数从
32,768锐减至512 * 8 = 4,096，变得可行。 - 8个组并行计算，产生8个1×8的输出向量，最后通过一个拼接（Concat）层合并成1×64的向量，送入后续层。
这种设计相当于将一个大矩阵乘法分解为多个小矩阵乘法的并行执行。在硬件上，每个Segment被实现为一个独立的MVTU单元，8个MVTU同时工作（图4.b）。这完全消除了该层的时间复用，将计算延迟从33个时钟周期降低到了19个周期，提升了42%。当然，这是以消耗更多逻辑资源（LUT）为代价的，因为我们需要实例化8套计算单元。
避坑指南：工具链的适配与修改这种自定义的并行结构在标准的ONNX到FINN-R转换流程中会遇到问题。因为FINN-R的默认转换规则可能无法正确处理我们引入的“分割-拼接”结构。我们的解决方案是：在生成ONNX模型后，手动在拼接层之前插入统一的
QuantIdentity层（用于确保数据格式），并修改FINN-R内部的图转换步骤，使其能识别并优化这种结构。这提醒我们，高级综合（HLS）工具链虽然强大，但在追求极致优化时，往往需要深入底层，进行一些“非标准”的干预和适配。
3.3 另一种低延迟思路：分段处理深度网络
除了层内并行，我们还探索了另一种降低深度网络延迟的架构（对应Arch-8/9），即分段处理（Piecewise Processing）（图4.c）。其核心思想是：将长的输入序列分成若干段，网络的前几层只处理当前段和上一层的输出，只有最后一层才看到完整的输入信息。这样，前面层的计算可以与数据流的输入同时进行，只有最后一层需要等待所有数据段到位后才执行。最终，整个网络的延迟仅由最后一层的计算时间决定。这对于需要更深网络结构来提取复杂特征，但又对延迟有严格要求的场景，提供了一种有效的设计思路。
4. 硬件实现、性能评估与对比分析
经过协同设计和硬件映射，我们最终在Xilinx ZCU111 RFSoC的XCZU28DR FPGA上实现了多个不同架构的量化神经网络加速器。
4.1 资源与延迟的权衡
下表展示了不同网络架构在量化后的硬件表现：
| 模型架构 (代号) | 参数量 | 量化方案 (输入/权重/激活) | 几何平均保真度 (FGM) | LUT利用率 (%) | 查找表 (FF)利用率 (%) | 最大频率 (MHz) | 延迟 (周期数) | 延迟 (纳秒) |
|---|---|---|---|---|---|---|---|---|
| 1000×1000×500×250×32 (Arch-1) | 1.63M | 4/2/2 | 90.40% | 39.28 | 15.88 | 243 | 924 | 3802.26 |
| 512×64×5 (Arch-5) | 33,217 | 4/2/2 | 89.91% | 10.37 | 6.26 | 260 | 33 | 127.05 |
| ((512×8)×8)×5 (Arch-7) | 33,295 | 4/2/2 | 89.72% | 25.16 | 7.13 | 403 | 19 | 47.12 |
| 256×128×128×128×128×5 (Arch-8) | 42,124 | 4/2/4 | 89.78% | 25.94 | 14.52 | 341 | 11 | 32.23 |
| 256×128×128×128×128×5 (Arch-9) | 42,124 | 4/1/4 | 89.07% | 24.58 | 11.28 | 374 | 9 | 24.03 |
关键解读：
- 从Arch-1到Arch-5：通过模型精简和量化，我们将参数量从163万降至3.3万，延迟从3800纳秒骤降至127纳秒，而保真度仅损失0.5%。LUT利用率也从39%降至10%，证明了量化与模型剪枝的巨大威力。
- Arch-7的平衡点：这是我们创新的层内并行架构。虽然LUT利用率因并行度增加而上升至25%，但延迟进一步降低到47纳秒，满足了“低于50纳秒”的核心指标。保真度保持在89.7%，这是一个非常理想的性能-资源-精度平衡点。
- Arch-9的极致延迟：采用分段处理深度网络和更激进的权重量化（1位），我们实现了24.03纳秒的极限低延迟。虽然保真度有所下降（89.07%），且资源利用率与Arch-7相当，但它展示了在需要更深网络模型时，如何通过架构优化来压制延迟。
- 频率与周期的关系：延迟（纳秒）= 周期数 / 频率（GHz）。工具链（Vivado）的综合结果会影响最大运行频率，这解释了为何某些更简单的模型（Arch-5）频率反而低于更复杂的并行架构（Arch-7）。设计时需综合考量周期数和可达频率。
4.2 与现有技术的横向对比
我们将自己的工作与近期其他基于神经网络的量子态判别方案进行了对比：
| 判别方案 | 参数量 | 神经网络延迟 (ns) | LUT资源 | 读取类型 |
|---|---|---|---|---|
| Reuer et al. (2022) | 1,891 | 48 | 未报告 | 单量子比特 |
| Satvik et al. (2023) | 1,112 | 未报告 | 17,917 | 频率复用 |
| 本工作 (Arch-7) | 33,295 | 47.12 | 107,026 | 频率复用 |
| 本工作 (Arch-9) | 42,124 | 24.03 | 104,527 | 频率复用 |
我们的优势：
- 面向多量子比特复用读取：相比Reuer的工作（针对单比特），我们的方案直接处理频率复用的多比特信号，实用性更强。
- 更低延迟或更高鲁棒性：相比Satvik的工作（未报告延迟），我们明确实现了低于50纳秒的延迟。同时，我们的模型参数量是其30倍左右，这意味着模型容量更大，理论上能学习更复杂的模式，在处理强串扰或非理想信号时可能更具鲁棒性。
- 端到端集成：我们展示了从量化训练（Brevitas）到自动化硬件部署（FINN-R）的完整流程，并创新性地修改硬件架构以突破工具链限制，实现了更高的并行度。
4.3 实际部署与系统集成
这个神经网络加速器IP核最终需要集成到完整的量子测控系统中。如图1所示，它位于数字下变频（DDC）模块之后。DDC模块将RF-ADC采样的中频信号解调为I/Q两路基带信号，并可能进行初步的降采样和滤波。随后，一个简单的Boxcar积分器（在FPGA上只需几个周期）对I/Q数据进行窗口积分，生成512维的输入特征向量。这个向量被直接送入我们实现的神经网络加速器。
加速器以流水线方式工作，每个时钟周期都可以吞入新的数据，并在固定的延迟（如47纳秒）后吐出5个量子比特的判别结果（通常是经过Sigmoid激活后的概率值，或通过比较阈值得到的0/1状态）。这个结果可以立刻用于生成反馈控制脉冲，实现真正的实时量子纠错。
注意事项：系统级时序考量在集成时，必须确保神经网络加速器的处理延迟是确定性的，并且与整个测控流水线的其他部分（如脉冲生成、反馈逻辑）的时序严格对齐。需要仔细设计AXI-Stream接口的数据流和控制信号，避免出现反压（Backpressure）导致数据丢失或延迟不确定。通常，需要为加速器模块设置一个固定的“吞吐量-延迟”约束，并在Vivado中进行时序验证。
5. 常见问题、调试经验与未来展望
在将这套方案从仿真落到实际板卡的过程中，我们踩过不少坑，也积累了一些经验。
5.1 训练与量化中的陷阱
- 量化训练不收敛或精度骤降：
- 可能原因：学习率设置不当。量化引入了噪声，通常需要比全精度训练更小的学习率或更温和的学习率衰减策略。
- 解决步骤：从预训练的全精度模型开始进行微调（Fine-tuning），而非从头开始训练。使用余弦退火或带热重启的学习率调度器。在Brevitas中，仔细检查量化器的配置（如缩放比例是学习型还是固定型），确保其能够正常更新。
- 硬件推理结果与软件仿真不符：
- 可能原因：这是最常见也最棘手的问题。原因可能包括：FINN-R转换过程中数值舍入模式与PyTorch仿真不一致；激活函数（如ReLU）在硬件中使用的是有符号数处理而软件中是无符号数；中间结果的位宽在硬件中被意外截断。
- 调试流程：
- 第一步：逐层对比。利用FINN-R提供的仿真功能，在将模型编译成硬件描述语言（HDL）之前，进行周期精确的C++仿真，并逐层输出中间结果，与PyTorch前向推理的结果进行比对。
- 第二步：检查量化注释。确保ONNX模型中每个节点的量化注释（scale, zero_point）是正确的，并且被FINN-R正确读取。
- 第三步：硬件协同仿真。在Vivado中，对生成的IP核进行行为级仿真，注入测试向量，观察输出。
5.2 FPGA实现中的优化挑战
- 时序违例（Timing Violation）：
- 现象：综合或实现后报告建立时间（Setup Time）或保持时间（Hold Time）不满足。
- 分析：神经网络加速器，尤其是高度并行的设计，数据路径复杂，组合逻辑延迟可能很高。高频率目标下更容易出现时序问题。
- 解决策略：
- 流水线化（Pipelining）：在长的组合逻辑路径中插入寄存器，将其分割成多个时钟周期完成。FINN-R生成的MVTU单元内部通常已经做了流水线设计，但跨模块或接口处可能需要手动添加。
- 降低目标频率：有时为了满足极低延迟（周期数少），需要运行在较高频率。若无法满足时序，可适当降低目标频率，但需重新评估总延迟（周期数/频率）是否仍满足要求。
- 优化扇出（Fanout）：高扇出信号（如复位、使能信号）可能导致布线延迟过大。使用寄存器复制（Register Replication）来降低关键网络的扇出。
- 资源利用率过高：
- 现象：LUT、FF或DSP资源接近或超过器件容量。
- 策略：对于Arch-7这类并行设计，资源消耗大是预期的。如果资源不足，可以回调到Arch-5这样的更紧凑设计，或者减少并行度（如将8个Segment减为4个）。也可以尝试FINN-R中的“折叠因子（Folding Factor）”参数，通过时间复用部分计算来节省资源，但这会以增加延迟为代价。
5.3 方案的局限性与扩展方向
- 可扩展性到更多量子比特：当前方案针对5量子比特。扩展到数十甚至上百个量子比特时，输入维度（与读取采样点相关）和输出维度（与量子比特数线性相关）会增加，但隐藏层大小可能不需要同比例增长。关键在于，随着比特数增加，频率复用通道间的串扰会更复杂，可能需要更深或更宽的网络来建模。这将再次挑战硬件资源。未来的方向可能是探索更高效的网络架构（如CNN处理IQ时空特征）或利用注意力机制。
- 适应不同的量子比特平台：本文基于超导量子比特。对于离子阱、硅量子点等其它平台，读取信号的特征（持续时间、信噪比、串扰模式）不同。我们的方法论（量化NN+FPGA加速）是通用的，但需要针对新数据重新训练和优化网络模型。输入预处理方式（如Boxcar积分长度）也需要调整。
- 与动态反馈系统的集成：50纳秒的判别延迟为实时反馈创造了条件。下一步是将这个判别结果无缝接入量子控制指令流中，实现“测量-判别-反馈”的闭环。这需要在FPGA上设计一个极低延迟的反馈仲裁逻辑，并能动态加载基于判别结果的下一个脉冲序列。
- 工具链的进一步自动化：我们修改FINN-R图转换的步骤目前还是手动的。未来可以尝试将“层分割并行”等优化模式封装成更高级的优化策略，贡献给开源社区，或开发脚本使其自动化，降低使用门槛。
回过头看，这个项目更像是一次“带着镣铐的舞蹈”。镣铐是严苛的50纳秒延迟和有限的FPGA资源，而舞蹈则是神经网络的灵活表达。我们通过量化剪枝“瘦身”，通过架构创新“加速”，最终让一个复杂的判别模型在硬件上飞驰。这个过程揭示了一个普适的道理：在边缘计算和实时控制领域，算法和硬件必须携手共进，任何一方的孤立优化都难以触及性能的极限。当你下次面临一个需要在微秒甚至纳秒内做出反应的智能决策问题时，不妨想想这套组合拳：用一个精简而聪明的模型，加上为它量身定制的硬件电路。
