变分方法（variational method）做上采样，替代线性插值-平芜编程栈

“变分方法（variational method）”本质上不是在做“插值”，而是在做一个带约束的优化问题求解：把“上采样”变成“找一个最合理的高分辨率解”。

1. 它不是“放大”，而是“重新求解”

双线性上采样做的是：

已知低分辨率光流 → 直接插值放大

它不管“物理合理性”，只保证平滑。

而变分方法做的是：

在高分辨率上重新找一个光流场，使其：

和低分辨率结果一致（数据项）
又足够平滑（正则项）
还能遵守图像边界（边缘感知）

也就是说：

❗不是“放大一个答案”，而是“重新优化一个更好的答案”

2. 数学本质：最小化一个能量函数

变分方法核心是：

E ( u ) = E data ( u ) + E smooth ( u ) E(u) = E_{\text{data}}(u) + E_{\text{smooth}}(u)E(u)=Edata(u)+Esmooth(u)

在光流里通常是：

(1) 数据一致性项

保证“上采样后的流”不要乱跑：

E data = ∣ u − u low-res upsample ∣ 2 E_{\text{data}} = | u - u_{\text{low-res upsample}} |^2Edata=∣u−ulow-res upsample∣2

意思是：

高分辨率光流不能偏离低分辨率结果太多

(2) 平滑正则项（关键）

经典形式：

E smooth = ∫ ∣ ∇ u ∣ 2 E_{\text{smooth}} = \int |\nabla u|^2Esmooth=∫∣∇u∣2

意思是：

光流在空间上应该尽量连续、平滑

(3) 边缘感知

你这段特别关键：

α = exp ⁡ ( − λ b ( x , y ) κ ) \alpha = \exp(-\lambda_b(x, y)\kappa)α=exp(−λb(x,y)κ)

它的作用是：

在图像边界处降低平滑强度

这个参考论文《
【光流】2015：FlowNet: Learning Optical Flow with Convolutional Networks
》

3. 边界为什么要影响“变分”？

如果不加边界约束：

光流会跨物体边界“糊在一起”
例如：车和背景会被强行平滑

加了边界后：

边缘处 α → 小
平滑被抑制
允许“断开”

直觉是：

📌 “物体内部要平滑，物体之间不能强行平滑”

4. FlowNet的“粗到细 + 迭代”

我们不使用双线性上采样，而是使用文献 [6] 中的变分方法（不含匹配项）：我们从 4 倍下采样的分辨率开始，然后使用粗到细的方案进行 20 次迭代，将光流场提升至全分辨率。最后，我们在全图像分辨率上再运行 5 次迭代。我们还采用文献 [26] 中的方法计算图像边界，并通过将平滑系数替换为α = exp ⁡ ( − λ b ( x , y ) κ ) \alpha = \exp(-\lambda_b(x, y)\kappa)α=exp(−λb(x,y)κ)来尊重检测到的边界，其中b ( x , y ) b(x, y)b(x,y)表示在相应尺度及像素之间重采样的薄边界强度。这种上采样方法比简单的双线性上采样计算成本更高，但它增加了变分方法的优势，从而获得平滑且亚像素精度的光流场。在下文中，我们用后缀“+v”表示通过这种变分细化获得的结果。