生成模型杂谈——Consistency Model

Consistency Model 的训练核心是构造这样一对样本：

• ztz_tzt​：生成轨迹上较“噪声”的状态；
• zsz_szs​：同一条轨迹上另一个时间点的状态；
• s<ts<ts<t，并且二者应该最终生成同一个干净样本xxx。

然后让网络在这两个状态上的输出尽可能一致：

fθ(zt,t)≈fθ(zs,s) f_\theta(z_t,t)\approx f_\theta(z_s,s)fθ​(zt​,t)≈fθ​(zs​,s)

其中fθ(zt,t)f_\theta(z_t,t)fθ​(zt​,t)的含义不是“预测当前速度”，而是：

从当前状态ztz_tzt​直接预测这条轨迹的最终结果。

所以它希望网络满足：

fθ(zt,t)=fθ(zs,s)=x f_\theta(z_t,t)=f_\theta(z_s,s)=xfθ​(zt​,t)=