干图像超分这一行的人，应该对TTSR这个名字不陌生。CVPR 2020上的这篇Texture Transformer Network for Image Super-Resolution，圈内都叫它TTSR，做的事情一句话概括：给你一张低分辨率图，再给你一张和它内容相关的高分辨率参考图，让模型从参考图里把高频纹理搬过来，补全在低分辨率图里丢失的细节。老照片修复、视频超分、医学影像增强，这类场景特别吃这套思路。我第一次读完这个方法的时候，最大的感觉是它把Transformer结构真正用在了参考图像超分任务上，用注意力机制解决了"找纹理"和"搬纹理"这两件难事。不管你是要做论文复现、想做工程落地，还是纯粹想了解超分方向这几年怎么演进，TTSR都是一个值得花时间拆解的样本。
1. TTSR在解决什么问题：参考图像超分的核心难点
1.1 超分不是放大，而是"补细节"
很多刚接触超分的同学会有一个误区：超分不就是把图拉大吗？事实上，单纯的插值算法只能让像素变多，不能让信息变多。一张低分辨率图，它的高频细节在成像那一刻就已经丢了，你拿什么算法都补不回来——因为你先验信息不够。传统单图超分（SISR）模型从成千上万张图里学一套"先验"，试图用统计规律猜测原图长什么样。这个思路在PSNR指标上有效果，但遇到真实世界的复杂纹理，比如皮毛、布料、树叶、皮肤毛孔，猜出来的基本都是"光滑的幻觉"，离真东西差得很远。
参考图像超分（RefSR）是另一条路：我承认信息丢了，但有补救办法——另外找一张高分辨率图，这张图里可能有和输入图相同的物体、相同的纹理结构，那我直接把这块纹理搬过来用。TTSR要解决的核心问题就是：怎么从参考图里精确找到"哪块纹理对应输入图的哪个位置"，以及"找到了之后怎么把纹理迁移得自然"。这两个问题看起来简单，背后藏着大量细节。
1.2 参考图像超分的三个长期痛点
不管是最早的几种朴素迁移方法，还是后来的一些深度模型，参考图像超分方向上大家普遍被三个问题卡住。
第一个痛点是对应关系不准。参考图和输入图往往不是严格配准的。可能是不同视角拍的同一栋建筑，可能是同一件衣服在不同光照下的照片，甚至可能是完全不同照片但纹理相近。传统方法用光流或者块匹配来找对应关系，一到光照变化大、视角差异大的场景就失效。
第二个痛点叫做纹理迁移的尺度错配。参考图里对应区域确实存在，但是参考图里的纹理尺寸和输入图的目标区域纹理尺寸不一样，有的粗有的细。如果直接迁移，结果里会出现"纹理频率不一致"的怪感受。
第三个痛点是生成图容易产生伪影。强行把参考图的纹理贴上去，颜色、亮度、边缘过渡不一致，会形成明显的"贴片感"。尤其遇到遮挡、运动物体、透视变形，前几个痛点叠加起来，结果经常惨不忍睹。
TTSR在这三个方向上都有针对性的设计。它没有像早期方案那样做显式的光流对齐，而是用Transformer的注意力机制做"软匹配"；没有把纹理当作像素直接拷贝，而是通过多尺度特征融合来缓解尺度错配；还用可学习的纹理提取器来保证迁移到特征域而非像素域，减轻伪影问题。
1.3 为什么是Transformer而不是单纯堆CNN
前面说了，参考图像超分的基础操作是"匹配+迁移"，这恰恰是注意力机制最擅长的。假设输入图里有一块区域对应参考图里的某一块，我们希望模型在整张参考图的范围里做全局搜索，找到响应最强的那个位置。CNN在做这件事的时候天然吃亏：卷积核的局部感受野让特征只能在邻近区域打转，虽然深层网络感受野很大，但捕捉的是抽象语义，不是局部纹理的细粒度对应。
Transformer的注意力机制把特征展开成序列，直接计算任意两个位置之间的相关性，这本质上就是一个全局的"匹配引擎"。TTSR把特征图上每个位置看成一个token，计算查询（低分辨率图的纹理特征块）和键值（参考图的纹理特征块）之间的相似度，相似度高的位置就被赋予更大的权重。这种建模方式比CNN靠堆层数来扩大感受野要直接得多，而且可解释性也更强——你能直观看到每个输出位置"看了参考图的哪里"。
另外一点也很实际，Transformer在当时的超分圈还算是新事物，大多数超分模型还在用残差结构、通道注意力、密集连接这些思路。TTSR的尝试给大家提供了一个样例：注意力机制在图像恢复任务里，除了可以做通道间加权，还能做空间上的"跨图信息聚合"，这个视角后来被不少后续工作沿用。
2. 架构拆解：Texture Transformer的三个关键设计
2.1 可学习纹理提取器（LTE）：特征得过一遍"专业筛选"
TTSR的整个流程可以简化成一句话：先把参考图和低分辨率图都送进一个特征提取器，拿到纹理特征；然后对两个特征做匹配，得到对应关系；最后按对应关系把参考图纹理特征融合进主分支，交回超分重建网络输出高清图。
这个"特征提取器"不是随便拿个预训练网络就完事。TTSR设计了一个可学习的纹理提取器（Learnable Texture Extractor，LTE），底层结构参考了VGG19的前若干层，但关键点是它会在训练过程中和主任务一起做端到端的微调。为什么要"可学习"？因为通用的分类网络特征是为"识别物体"优化的，它更关心"这是什么"，而不是"这块纹理长什么样"。超分任务恰恰需要的是后者——像素级的、高频率的纹理线索。直接拿分类网络的特征去做像素级匹配，分辨率信息在层层池化中丢太多，匹配结果会粗糙。
LTE输出的特征有几个特点：一是保留多尺度信息，从不同层抽取特征拿去计算相关性，对应不同粗细的纹理；二是特征本身参与梯度回传，也就是说随着训练不断进行，它越来越"懂"超分任务需要什么样的纹理表示。这与直接冻结预训练权重的做法相比，带来的匹配精度提升非常可观。我自己复现时的直观感受是，冻结VGG特征的版本，在复杂场景下找对应经常出错，一旦让特征提取器参与训练，同样的数据量下匹配准确度明显改善。
2.2 相关性嵌入：找到"最像的那块"
拿到特征之后要做的第一件事就是匹配。TTSR把低分辨率图的特征按局部块（patch）切分，参考图的特征也按同样的方式切分，然后逐一计算每个低分辨率块和所有参考图块之间的相似度，得到一张相关性图谱。这里的关键在于"相关性嵌入"（Relevance Embedding）不是一个固定的cosine距离或者内积，而是一个可学习的模块。它通过一个小型卷积网络对特征做再映射，把匹配需要的判别信息压缩到相关性计算里。
为什么不能简单用固定的内积？因为"纹理相似"这个判断不是线性的。两块纹理可能在颜色上有差异，但在结构上有强一致性；反之，颜色完全相同但结构差异很大的例子也很常见。固定相似度度量没法捕捉这种灵活的匹配规则，可学习的相关性嵌入就能根据数据自适应地调出合适的判断逻辑。这一步算出来的相关性矩阵，就是后面注意力机制的权重来源。
有一个容易被忽略的实现细节：相关性计算是在特征空间的多个尺度上同时进行的。因为低分辨率图和参考图之间的尺度差异不是恒定的，不同区域可能需要不同层级的特征来匹配。多尺度相关性嵌入让模型在不同抽象级别上都有匹配结果，最后按尺度融合，对"尺度错配"这个痛点的缓解非常直接。
2.3 硬注意力加软注意力加跨尺度融合：取纹理不是抄像素
匹配完成之后，TTSR用了两套注意力来干活。硬注意力负责"选"，软注意力负责"合"。
硬注意力做的事情是：对低分辨率图的每个位置，从参考图的相关性图谱里挑出响应最大的那个位置。相当于我说"你就用参考图里这一块的纹理"。这个操作非常有针对性，因为迁移纹理时最怕的是把多个位置的纹理混在一起产生模糊，硬注意力确保选出的是单点最强的对应，纹理清晰度有保障。
但是只选一个位置也有风险：如果匹配到的那个位置其实有偏移或者不完整，纹理就会错位。所以TTSR在硬注意力之后又加了一层软注意力。软注意力不是只取最大值，而是把相关性图谱转换为权重分布，对参考图的多个候选纹理块做加权平均。价值在于，硬性选择负责锁定主纹理，软性加权负责吸收邻近位置的辅助细节，两者一结合，大部分对齐误差就能被吸收掉。
最后一步是跨尺度特征融合。TTSR不是在单一尺度上做注意力之后就立刻重建，而是把从多个尺度特征层取得的匹配结果逐级融合进主重建分支里。每个尺度贡献的纹理粗细不同：浅层特征贡献高频细节，深层特征贡献语义结构。融合的时候用类似残差的方式逐层递进，让纹理信息从粗到细地"长"回低分辨率图上。主重建分支的结构和EDSR这类经典超分网络类似，基本是残差堆栈加亚像素卷积上采样，接收融合后的多尺度纹理特征，输出最终的高清图。
3. 复现实操：数据、训练与推理的关键参数配置
3.1 数据准备：Ref图和LR-HR对怎么配
复现TTSR第一步不是调网络，而是把数据准备好。参考图像超分的数据集和普通超分不一样，除了要求LR和HR对，还要给每个LR找一张参考图。参考图的来源一般是同场景不同视角、同物体不同光照，或者干脆是从训练集中检索出来的纹理相似图像。
我实际操作的经验是：训练时采样逻辑对结果影响非常大。很多参考超分方法默认参考图和LR来自同一个HR，但经过随机移位旋转，这样模型容易学到"作弊"——它只需要在网络里做一个小小的空间对齐就行。为了防止网络退化成单图超分加轻量对齐，必须让参考图与LR有足够大的差异。训练采样的时候，我会把LR对应的HR图分成两个区域：主区域裁剪LR和对应的HR patch，参考区域从HR的另一块位置裁剪，这样保证纹理相似但不完全对应。这一步是保证模型真正学会"搜索纹理"而不是"搬运自身信息"的关键。
参考图的尺寸和目标HR的尺寸不需要完全一致。TTSR的特征提取是全卷积式的，参考图大一点小一点都能处理，但要注意裁剪策略。一般我会把Ref的短边裁到目标HR的1到2倍之间，太小了可用的纹理不够，太大了显存撑不住，匹配范围也过大容易出错。
3.2 训练配置：patch大小、batch、学习率与损失权重
核心超参数我按复现时的经验整理成一个速查表，照抄基本没问题，但要根据自己的显存调整：
| 配置项 | 推荐值 | 备注 |
|---|---|---|
| LR patch大小 | 40x40 | 不要太大，匹配计算量随尺寸平方增长 |
| HR patch大小 | 160x160 | 4倍超分时对应LR 40x40 |
| 参考图窗口 | 160x160左右 | 与HR patch同尺寸比较合适 |
| Batch Size | 8至16 | 视GPU显存调整，V100级别16可用 |
| 优化器 | Adam | betas=(0.9, 0.999) |
| 初始学习率 | 1e-4 | 40到80个epoch后衰减到1e-5 |
| 重建损失 | L1 | 权重为1 |
| 感知损失 | VGG特征L2 | 权重0.1以内 |
| 对抗损失 | 相对论判别器 | 仅在GAN版本开启 |
有个容易忽略的细节：patch太大时匹配计算量大，训练慢；patch太小则参考图范围内可用信息少，网络容易只依赖LR特征。40x40的LR patch配上160x160的HR patch是我试下来性价比最高的组合。学习率方面，TTSR这种带Transformer匹配的模型对学习率比较敏感，一上来就给3e-4可能直接训练发散。我的做法是先跑20轮观察loss曲线，如果早期就震荡，降到5e-5重新来。
损失函数里的感知损失分量值得多说一句。早期没有感知损失的时候，模型搬过来的纹理虽然对齐，但视觉上总有点"塑料感"。加了感知损失之后，输出在预训练网络的深层特征上和HR更接近，人眼看着舒服很多。但感知损失权重太大也不是好事，会让网络倾向于"画"出纹理而不是"搬"纹理，反而丢失高频细节。权重压在0.1附近比较稳。
3.3 推理流程与内存控制
训练完之后，推理阶段的坑主要在内存上。TTSR在推理时要对整张LR和整张参考图做相关性计算。假设LR是256x256，Ref是512x512，特征维度64，相关性矩阵的尺寸大约是(64x64)x(128x128)，这个量级尚且可控。但如果Ref到了2000x2000，硬算相关性矩阵会把显存撑爆。
实际工程里解决办法是分块推理。把LR按重叠区域切成若干个窗口，每个窗口单独和Ref做匹配，最后拼回去，重叠部分做平均或者线性融合。这个过程不复杂，但融合边界的处理要留意，不然会在拼接处出现明显的纹理跳跃。我的习惯是重叠16个像素，融合权重用sigmoid型的淡入淡出，实测肉眼基本看不到拼缝。另外，如果LR和Ref体积差异过大，可以先用简单的插值把LR放大到Ref的相近尺度再送进网络，能显著减少匹配错位。
还有一个推理技巧：输出结果可以做一个自集成（self-ensemble），把输入做四次90度旋转和水平翻转，分别推理后再逆变换平均，通常能白捡0.1到0.2dB的PSNR。代价是推理时间翻倍，离线处理值得，实时场景就算了。
4. 踩坑实录：训练TTSR最容易栽的四个跟头
4.1 Ref和LR错位严重，注意力变成瞎选
第一次训练TTSR的时候，我踩的最深的坑就是Ref配得太随意。用的是公开的一些reference数据集原始划分，没有做额外的筛选和配准，结果训练到中期发现loss下得很快，但验证集上的输出基本就是单图超分的结果——参考图几乎没有贡献。查相关性图谱后发现，大量位置的注意力权重分散在无关区域，模型学了"找不到就不找"这条消极路径。
解决办法有两个层面。数据层面，训练时给Ref增加约束：至少保证与HR有30%以上的重叠区域，或者干脆用我前面说的"同图不同区域"采样。模型层面，把硬注意力对应的损失项加上，强迫网络在相关性图谱上形成更锐利的响应分布。这里也可以用一个小trick：相关性嵌入模块的输出加一个temperature参数，训练初期温度调低让分布更平滑，随着训练推进再调高收缩到更聚焦的模式。
4.2 显存直接爆掉，怎么截窗口
TTSR的高花销集中在相关性计算和特征融合上。我第一次尝试直接用整张Ref图训练，输入LR是80x80、HR是320x320、Ref是320x320，Batch size设成8，一块24GB的卡直接OOM。查了一下，相关性矩阵占了大部分显存，因为每个尺度都要算一遍。
我的处理办法是把Ref窗口从320x320砍到160x160，同时Batch size降到8；如果还想再省，就把特征维度从64降到48，匹配精度略有下降，但显存能省下三分之一。另外在实现上，相关性计算用矩阵乘法时避免构造完整的相关性矩阵的中间变量，可以用分块乘法来减少峰值显存。实际跑起来，1080Ti级别的卡也能用160x160窗口训，只是速度慢一些，但足够验证思路。
4.3 GAN模式下的纹理伪影与颜色漂移
TTSR有普通版本和带对抗损失的GAN版本。GAN版本的主观效果明显更好，纹理锐利度提升一个层次，但训练难度一下子高很多。我遇到最典型的问题是纹理伪影：生成图在低频区域出现细小的彩色噪点，尤其是纯色天空和皮肤区域，PSNR其实不低，但人眼看着非常脏。
排查下来，主要原因是感知损失和对抗损失的平衡没调好。对抗损失权重太高时，判别器会逼着生成器在所有区域都"造"纹理，而平滑区域根本没有可参考的纹理来源，模型就编造高频噪声。解决路径是：对抗损失权重降到普通版本的十分之一，同时把感知损失权重稍微提上去。另一个有效做法是在判别器里加一个约束，让它对平滑区域更宽容，否则纯色区域永远学不好。
颜色漂移是另一个高频问题，表现是输出整体偏灰或者偏黄。这通常是损失函数里L1分量不足导致的。L1损失对颜色保真度有强约束，感知损失和对抗损失对颜色的约束相对弱。当模型过分关注纹理和结构时会忽略颜色统计分布。我的调整思路是优先保证L1权重在1以上，颜色漂移基本能消除。
4.4 "PSNR涨了，但图没法看"的指标陷阱
这个坑不只是TTSR有，所有生成式超分模型都有，但在TTSR上更容易踩。因为参考图确实提供了额外信息，PSNR在所有公开基准上都会上涨，哪怕纹理迁移出现了错位，只要整体结构是对的，PSNR依然很好看。有一次我训练的模型在验证集上比基线高了0.4dB，但放大到100%看细节，屋顶瓦片全是错位的条纹——注意力匹配在全局结构正确但局部区域里发生了偏移，我能感觉到指标根本就没有逮住这个问题。
后来我在训练和评估环节都加了一道流程：除了PSNR和SSIM，固定抽几组典型图出来做主观对比，并且参考图设计成"局部纹理相似但整体构图不同"的难例。这种难例一眼就能暴露模型的对应关系准不准。做工程评估的时候，建议再加上一个纹理统计量对比，或者使用FID这类评估生成图像分布的指标，能更全面反映视觉质量，而不是被单一的PSNR牵着走。
5. 效果对比与落地场景：TTSR值得用在哪里
5.1 与常见超分模型的对比：不只是PSNR
从实际复现结果来看，TTSR在数值指标上相比纯单图超分模型（比如EDSR、RCAN这一类）是有明显优势的，尤其在纹理丰富的类别上，比如动物皮毛、织物、植被，PSNR平均能高出0.3到0.5dB。不过这个优势的前提是参考图和输入图确实存在可匹配的纹理。如果Ref图完全无关，硬上的效果甚至会略低于普通单图超分，因为注意力机制找不到有效信息，反而增加了计算噪声。这一点和论文里的结论是一致的：TTSR适合的是"有参考可用"的场景，不是一个万能的通用超分模型。
和之前一个比较有代表性的参考超分方法SRNTT相比，TTSR的提升更大。SRNTT用深度特征做块匹配，但匹配方式比较固定，也没有可学习的特征提取和相关性嵌入。TTSR在主观效果上的进步尤其体现在边缘细节：瓦片边界更利落，布料纹理更连贯，不再有之前方法常见的"贴纸感"。如果你自己复现两个方法对比，建议把多组测试图并列放大到同一尺度直接看，差异非常明显。
5.2 四个值得落地的真实场景
第一个场景是老照片和旧视频修复。老照片往往分辨率低，但同一人物在同一个相册里可能有其他清晰照片，用那张清晰照片当参考，TTSR能把衣服褶皱、头发丝这些细节补得很自然。视频修复同理，可以从相邻帧里借纹理，比逐帧单独超分的时序稳定性要好很多——不过要注意，直接逐帧跑TTSR仍然会有闪烁，配合时序对齐模块效果才能真正落地。
第二个场景是医学影像增强。某种类型的医学影像扫描分辨率低，但同部位可能有其他模态或历史影像提供纹理细节。这类场景对纹理真实性要求极高，TTSR的"硬注意力硬选+软注意力融合"机制能比较好地避免无中生有的伪结构。实际应用时还有一个额外好处：可学习的相关性嵌入可以被约束到只关注特定组织纹理，降低误匹配风险。
第三个场景是卫星遥感与航拍。历史存档的高分辨率影像可以为当前低分辨率影像提供参考，提高地面目标识别、道路提取等下游任务的精度。遥感影像大多是正射视角，不像自然图像那样有大量透视变化，TTSR的匹配难度会低不少，效果也更稳定。但遥感图纹理重复度高，同名纹理相距很远，模型可能把远处的同纹理区域当作参考，需要加入地理先验做约束，这点工程上要专门处理。
第四个场景是手机多摄融合。现在很多手机有多颗摄像头，主摄和长焦拍同一场景时，长焦可以提供主摄图像中心区域的高频细节。用TTSR的思路，以长焦图为参考，可以恢复主摄图像在数字变焦后的细节。这个场景下参考图与输入图天然配准度较高，不用太担心错位问题，但需要把模型压缩到移动端能跑的规模，通常要做剪枝和量化，这块TTSR本身开销不小，工程上还得下功夫。
就我个人的实际体会来说，TTSR最大的价值在于它把参考图像超分的思路往前推了一大步，给了后来者一个清晰可复现的框架：可学习特征提取、相关性匹配、注意力融合、多尺度级联，这四个设计点后来在不同任务里被反复借鉴。我复现这个模型的时候，最大的收获不是那零点几分PSNR，而是理解了"怎么让模型在另一个图里找信息"这件事的工程复杂度。如果你打算在自己项目里用参考超分，建议先把TTSR完整跑通，再往里加自己的模块，这个过程一定能帮你省掉不少走弯路的时间。
：异步I/O与Writeback线程——后台刷盘与I/O调度》)
