125、超分前沿展望：扩散模型与大规模预训练在超分中的潜力
上周帮师弟调一个SR3的代码，跑了一晚上，结果出来的图像全是高频噪声，像电视雪花屏。我盯着那张图看了十分钟，突然意识到——这不是模型崩了，这是扩散模型在告诉我们，它还没学会怎么“优雅地”从噪声里长出细节。这个坑我踩过，今天聊聊扩散模型和大规模预训练在超分里的那些事。
从DDPM到SR3：扩散模型为什么适合超分
先说说扩散模型的核心逻辑。它不像GAN那样直接学一个从低分到高分的映射，而是把超分问题拆成“逐步去噪”的过程。你给模型一张低分图，它先把它upsample到目标尺寸，然后在这个基础上，从纯噪声开始，一步步“擦掉”噪声，同时用低分图作为条件约束，让每一步都朝着正确的方向走。
这里有个容易踩的坑：很多人以为扩散模型就是加噪声再减噪声，直接拿DDPM的代码改改输入就上。别这样写。超分里的扩散模型，条件注入的方式很关键。SR3用的是concatenate，把低分图和当前噪声图拼在一起送进U-Net。但如果你直接拼，低分图的特征会被噪声淹没。正确做法是先用一个轻量级的特征提取网络把低分图编码成多尺度特征，再和U-Net的每一层做cross-attention。这个细节我调了三天才想明白。
另一个坑是时间步的embedding。扩散模型里每个去噪步都有一个时间步t，这个t的embedding要加到U-Net的每一层。但超分任务里，低分图本身已经包含了大量结构信息，时间步embedding如果加得太重，模型会忽略低分图的约束，自己“自由发挥”。我试过把时间步embedding的权重减半，效果反而更好。
