097、视频超分中的时序一致性:从光流到循环网络的优化策略
上周调试一个视频超分模型,跑完200帧验证集,肉眼看着每帧都挺清晰,结果一播放——画面像得了帕金森,高频闪烁、边缘抖动,连人脸都在“呼吸”。这种痛,做过视频超分的兄弟都懂。单帧超分做得再好,时序上一崩,全白搭。
今天这篇笔记,就聊聊视频超分里那个让人又爱又恨的“时序一致性”。从光流对齐到循环网络,踩过的坑、试过的trick,一并记下来。
光流对齐:看似优雅,实则娇气
最早做视频超分,大家第一反应就是光流。把相邻帧对齐到当前帧,然后融合。听起来很合理对吧?但实际跑起来,光流本身就成了最大的坑。
光流估计的精度问题。你拿FlowNet或者RAFT去算,在干净数据上效果还行,但超分场景下,输入是低分辨率、带噪声的,光流估计直接崩。我试过把LR帧直接送进RAFT,出来的光流图跟抽象画似的,边缘全是毛刺。后来学乖了,先用一个轻量级网络把LR特征提一提,再算光流,精度能提3-5个点。
别这样写:
# 错误示范:直接对LR图像算光流flow=raft_net(lr_frame