073、NPU的语义分割模型加速：UNet与DeepLab
去年做一款工业质检设备，客户要求对PCB板上的焊点缺陷做像素级检测。模型选型时，团队里有人提议用UNet，有人坚持上DeepLabV3+。我当时的想法很简单：先跑通再优化。结果在PC上推理一张512x512的图像，UNet要120ms，DeepLabV3+直接飙到280ms。客户要求单帧处理时间不超过50ms，这差距让我意识到——模型选型只是第一步，NPU上的部署优化才是真正的战场。
从DDR带宽瓶颈说起
第一次把UNet移植到某款NPU上时，我犯了个低级错误。模型结构没动，直接转成NPU的指令流，结果推理时间比CPU还慢。用profiling工具一看，DMA搬运数据的时间占了总耗时的65%。UNet的跳跃连接（skip connection）在FPGA上跑得好好的，到了NPU上反而成了性能杀手。
原因很简单：NPU的片上SRAM通常只有几百KB到几MB，而UNet的中间特征图在编码器最深层的通道数达到512甚至1024。以512x512输入为例，单张特征图就要1MB以上。NPU不得不频繁地把中间结果写回DDR，再读回来做拼接。每一次DMA操作都伴随着几十微秒的延迟，累积起来就是灾难。
这里踩过坑：别以为NPU的算力高就能无脑部署。UNet的跳跃连接本质上是“数据搬运密集型”操作，NPU的算力再强，带宽跟不上就是白搭。
UNet的NPU友好化改造
我后来在部署UNet时做了三件事，把推理时间从120ms压到了3
