简介：SRGAN超分辨率重建项目完整源码包，面向深度学习、图像处理方向的开发者与研究者，核心解决低分辨率图像到高分辨率图像的细节恢复与纹理增强问题。压缩包共29个文件，其中8个Python脚本覆盖数据预处理、网络结构、感知损失与对抗损失、训练循环、图像与视频测试、SSIM评估等完整链路，帮助理解数据加载、模型搭建、损失设计、训练推理全流程；15张PNG图像直观展示了2倍、4倍、8倍超分辨率重建效果；1份README说明配套使用方式，其余为gitkeep目录占位。整体16.33MB，目录按训练结果、基准测试、统计数据等模块组织，便于按需查阅。已有1114人学习下载，适合直接用于课程设计、毕业设计或项目复现。代码实现SRGAN核心逻辑，可直接运行训练与测试，适合作为理解生成对抗网络在图像增强中应用的实战范例，也可为超分辨率相关工作提供基线参考。
1. SRGAN在解决什么问题：超分辨率重建为什么绕不开对抗训练
SRGAN（Super-Resolution Generative Adversarial Network）是把生成对抗网络引入图像超分辨率重建的经典方案，也是很多人第一次把“GAN”和“画质增强”联系起来的入口。它要解决的核心问题是：低分辨率图放大之后，高频细节不是被插值“算”出来，而是被模型“编”出来，并且编出来的结果要看着自然。早年的超分模型用MSE或L2距离做约束，跑出来的图像PSNR不低，但放大后纹理区域发虚，像蒙了一层雾；SRGAN换了一条路，加入判别器去对比“真实高清图”和“生成的超分图”，逼着生成器在纹理和边缘上重新长出信息。所以它适合做图像画质提升、老照片修复、视频超分这类需要感知质量而不是只看峰值信噪比的方向，也适合把超分作为下游检测识别预处理手段的算法团队。
2. 架构拆解：生成器、判别器与两段损失在SRGAN里各自管什么
2.1 生成器：16个残差块堆起来的深层网络
超分辨率重建里，生成器的任务是从低分辨率特征映射回高分辨率图像。SRGAN的生成器不是简单把网络加宽，而是把主体做成了16个残差块堆叠的深层网络。每个残差块内部是两次3×3卷积，激活函数用PReLU，卷积之间接BatchNorm。残差块和普通卷积堆叠最大的区别在于：它让数据有一条从输入直接绕到输出的恒等路径，网络加深到十几个块时，梯度不会在反向传播途中被一层层“稀释”。
实际结构上通常分三段：head、body、tail。head先用一个9×9卷积把3通道的LR图映射到64维特征空间；body由16个残差块做特征提取；tail用两个3×3卷积加PixelShuffle把空间分辨率各放大一倍，凑成4倍超分。为什么不一次放大4倍？因为一步跨4倍的上采样，网络很难学出稳定的像素映射，拆成两次×2能明显降低训练难度，中间还能再经过一次激活函数引入非线性。这个设计经验在ESPCN、SRGAN以及后来的多数超分网络里都被保留下来。
选PReLU而不是ReLU也有讲究。ReLU在负半轴直接把梯度砍成0，残差块里的特征经过多次ReLU后负值信息损失太大；PReLU给每个通道保留一个可学习的负斜率，让高频细节即使在激活函数这一环也不至于被整体抹平。BatchNorm在这里的作用是稳定深层网络训练，但它也带来一个副作用：小batch size下均值和方差估计不稳，这一条后面第4章还会专门踩到。
2.2 判别器：从粗到细的VGG式二分类网络
很多人把判别器想成一台“打分机”，实际上它更像一个不断细化特征的图像审查器。SRGAN判别器用8个卷积层做特征提取，通道数按64→64→128→128→256→256→512→512排列，其中隔层用stride=2做空间下采样。这样的好处是感受野逐层扩大：浅层看局部高频，能察觉“纹理糊不糊、边缘有没有振铃”；深层看全局结构，能发现“整体轮廓对不对、色块关系是否合理”。
判别器最后的输出不是多分类，也不是稳定回归分数，而是一个二分类logit。训练时对真实HR输出趋向1，对生成器输出趋向0。判别器和生成器之间的博弈如果控制不好，会出现两种极端：判别器太强，生成器梯度消失，训练直接停滞；判别器太弱，生成器随便输出都能骗过它，重建结果又回到模糊解。所以SRGAN的实现里，通常会给判别器做标签平滑，并把判别器学习率压低到生成器的1/2左右，避免它抢先收敛。
2.3 感知损失与对抗损失：为什么MSE不再单独当选手
MSE按像素误差平均，模型学到的是所有合法超分结果的“平均解”。但图像超分辨率重建是一个一对多的问题：一张LR图可以对应多张合理的HR图，单张原图、稍微平移后的同内容图，都能作为合法答案。MSE会把所有可能答案平均掉，纹理区域就成了平均值一样的一团糊。SRGAN把损失拆成两段来绕开这个陷阱。
第一段是内容损失，也叫感知损失。做法是把HR和生成SR分别送进预训练VGG19，取relu4_4之前的特征图算MSE：
L_content = MSE(VGG(G(LR)), VGG(HR))
用VGG特征做辅助学习信号，是SRGAN能成立的关键。VGG网络经过大规模分类训练，它的中间特征已经把“图像里有什么结构”编码进去了。两张图在VGG特征空间接近，意味着它们的边缘走向、纹理分布、区域依赖在语义层面对齐，而不是逐像素对齐。这也正是“超分辨率辅助学习”的直觉来源：借用分类任务上学到的特征表达，去指导重建任务。
第二段是对抗损失。生成器要让判别器把生成图误判为真图，用BCEWithLogitsLoss的话，就是把fake_sr的标签设成1来算交叉熵，等价于原始论文里的-log D(G(z))。总损失组合为：
L_total = L_content + 1e-3 * L_adv
这个1e-3不是随便拍的。内容损失在VGG特征空间里数值量级通常比对抗损失大得多，如果不缩放，对抗信号会被内容损失彻底淹没，生成器只会优化VGG相似度，完全失去对抗博弈的效果。反过来，如果对抗权重给到1e-2以上，生成图会细节爆棚但结构扭曲。实践中我一般会先按1e-3起步，看验证集LPIPS的拐点再往两边扫。
提示：这里说的对抗损失权重标定，只适用于原始SRGAN这种BCE式对抗损失。如果改用WGAN-GP、相对论判别器，损失量级完全不同，权重需要重新标定。
| 结构位置 | 常用配置 | 说明 |
|---|---|---|
| 生成器head | Conv k9n64 + PReLU | 把输入LR从3通道拉深到64通道 |
| 生成器body | 16个ResidualBlock(64) | 残差学习高频差值，BN加PReLU |
| 生成器tail | 2组 Conv3n64 + Conv3n256 + PixelShuffle(2) | 每次上采样2倍，凑出4倍超分 |
| 判别器特征层 | 8层Conv3，通道64→512，偶层stride=2 | 下采样后接全局池化输出1维logit |
3. 用PyTorch写一个SRGAN：数据准备、网络定义与训练参数
3.1 数据准备：让低分辨率与高分辨率按同一退化方式成对
SRGAN训练需要成对数据：一张HR，一张由HR退化得到的LR。最常见的退化方式是BICUBIC降采样，也就是按4倍缩小尺寸。要注意“退化方式”必须和将来推理场景一致，这一条先埋个伏笔，第4章会展开讲。生成训练对的基本代码如下：
from PIL import Image import os def build_pairs(src_dir, hr_dir, lr_dir, scale=4): """把src_dir里的RGB图切成可整除尺寸的HR，并同步降采样出LR。""" os.makedirs(hr_dir, exist_ok=True) os.makedirs(lr_dir, exist_ok=True) for fn in os.listdir(src_dir): img = Image.open(os.path.join(src_dir, fn)).convert("RGB") w, h = img.size w, h = w - w % scale, h - h % scale # 取整到能被scale整除 hr = img.resize((w, h), Image.BICUBIC) lr = hr.resize((w // scale, h // scale), Image.BICUBIC) hr.save(os.path.join(hr_dir, fn)) lr.save(os.path.join(lr_dir, fn))这段代码有两个细节值得记。第一，resize前先把宽高取整到能被4整除，否则LR尺寸是向下取整的结果，训练时再把它resize回HR会出现半像素错位，表现为边缘发毛、轮廓学不干净。第二，HR和LR必须用同一种重采样内核，这里统一用Image.BICUBIC。训练用双三次、推理却喂带噪声压缩图像，重建质量必然下降。如果磁盘空间紧张，可以只保存原图，在Dataset的__getitem__里动态降采样，通常配合随机裁剪96×96区域一起做，省空间也方便数据增强。
3.2 定义生成器与判别器：残差块、PixelShuffle和判别网络
生成器主体由残差块堆叠，上采样用PixelShuffle。给定4倍超分目标，两个PixelShuffle各放大2倍就够了：
import torch.nn as nn class ResidualBlock(nn.Module): def __init__(self, channels=64): super().__init__() self.conv1 = nn.Conv2d(channels, channels, 3, padding=1) self.bn1 = nn.BatchNorm2d(channels) self.prelu = nn.PReLU(channels) self.conv2 = nn.Conv2d(channels, channels, 3, padding=1) self.bn2 = nn.BatchNorm2d(channels) def forward(self, x): identity = x x = self.prelu(self.bn1(self.conv1(x))) x = self.bn2(self.conv2(x)) return x + identity class GeneratorSR(nn.Module): def __init__(self, num_res=16, scale=4): super().__init__() self.head = nn.Sequential( nn.Conv2d(3, 64, 9, padding=4), nn.PReLU(64), ) self.body = nn.Sequential(*[ResidualBlock(64) for _ in range(num_res)]) self.tail = nn.Sequential( nn.Conv2d(64, 64, 3, padding=1), nn.BatchNorm2d(64), ) up = [] for _ in range(scale // 2): up.append(nn.Conv2d(64, 256, 3, padding=1)) up.append(nn.PixelShuffle(2)) up.append(nn.PReLU(64)) self.upsample = nn.Sequential(*up) self.out_conv = nn.Conv2d(64, 3, 9, padding=4) def forward(self, x): x = self.head(x) x = self.body(x) x = self.tail(x) + x # 长跳过连接，只学残差 x = self.upsample(x) return self.out_conv(x)生成器forward里最后一行前的“tail输出加回body输入”是关键。这个长跳跃连接让低频信息直接绕过16个残差块，网络只需要学习“LR和HR之间的差值”，训练压力和显存占用都更可控。PixelShuffle要求输入通道数必须是输出空间维度的平方倍，所以每个上采样块先卷到256通道，再重排成64通道、宽高各乘2。Conv2d算出来的256个特征图按像素周期重排，本质是在做高效的子像素卷积，比转置卷积少一个棋盘格风险。
判别器按VGG风格组织，但把最后两个全连接层换成AdaptiveAvgPool加单层线性，这样不用为不同输入尺寸硬算展平维度：
class DiscriminatorSR(nn.Module): def __init__(self): super().__init__() def conv_block(in_ch, out_ch, stride): layers = [nn.Conv2d(in_ch, out_ch, 3, stride=stride, padding=1)] if stride != 1: layers.append(nn.BatchNorm2d(out_ch)) layers.append(nn.LeakyReLU(0.2, inplace=True)) return nn.Sequential(*layers) self.features = nn.Sequential( nn.Conv2d(3, 64, 3, padding=1), nn.LeakyReLU(0.2, inplace=True), conv_block(64, 64, stride=2), conv_block(64, 128, stride=1), conv_block(128, 128, stride=2), conv_block(128, 256, stride=1), conv_block(256, 256, stride=2), conv_block(256, 512, stride=1), conv_block(512, 512, stride=2), ) self.classifier = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(512, 1), ) def forward(self, x): return self.classifier(self.features(x))判别器里stride=2的层接BatchNorm，是为了让下采样后的特征分布更稳定；LeakyReLU的0.2负斜率比ReLU保留更多梯度细节。AdaptiveAvgPool2d(1)会让判别器对输入分辨率不那么敏感，实际训练里SR和HR都是96×96，不会有尺寸不匹配的问题。
3.3 训练循环：损失拼装、优化器与关键超参
内容损失从VGG19取特征层，这里要注意不同torchvision版本里vgg19的层索引可能有偏差，建议打印确认最后一层确实是conv4_4对应的ReLU之前：
from torchvision.models import vgg19 class VGGContentLoss(nn.Module): def __init__(self, layer_index=35): super().__init__() vgg = vgg19(pretrained=True).features.eval() self.vgg = nn.Sequential(*list(vgg.children())[:layer_index]) for p in self.vgg.parameters(): p.requires_grad = False self.criterion = nn.MSELoss() def forward(self, sr, hr): return self.criterion(self.vgg(sr), self.vgg(hr))训练循环按生成对抗网络的标准做法，先更新判别器再更新生成器：
device = torch.device("cuda" if torch.cuda.is_available() else "cpu") gen = GeneratorSR().to(device) dis = DiscriminatorSR().to(device) content_loss = VGGContentLoss().to(device) adv_loss = nn.BCEWithLogitsLoss() g_opt = torch.optim.Adam(gen.parameters(), lr=1e-4, betas=(0.9, 0.999)) d_opt = torch.optim.Adam(dis.parameters(), lr=1e-4, betas=(0.9, 0.999)) # 一般先用像素MSE预训练生成器5~10轮，后面再切对抗训练 # warmup_epochs = 5 # for epoch in range(warmup_epochs): ... for lr_img, hr_img in train_loader: lr_img, hr_img = lr_img.to(device), hr_img.to(device) # 判别器：真实HR标签为1，生成SR标签为0 fake = gen(lr_img) d_real = dis(hr_img) d_fake = dis(fake.detach()) d_loss = adv_loss(d_real, torch.ones_like(d_real)) \ + adv_loss(d_fake, torch.zeros_like(d_fake)) d_opt.zero_grad() d_loss.backward() d_opt.step() # 生成器：内容损失 + 1e-3 对抗损失 fake = gen(lr_img) g_fake = dis(fake) g_loss = content_loss(fake, hr_img) + 1e-3 * adv_loss(g_fake, torch.ones_like(g_fake)) g_opt.zero_grad() g_loss.backward() g_opt.step()判别器分支里fake.detach()是必须的，否则判别器反向传播时会把梯度传回生成器，等于一次更新了两边，对抗训练就乱套了。生成器的对抗损失把fake标签设成1，对应原始论文里的-log D(G(z))，BCEWithLogitsLoss内部已经包含sigmoid，数值上更稳定，不容易出现log(0)的NaN。
超参数起步值按下面这张表来调，大多数问题都出在权重和batch的搭配上：
| 超参数 | 推荐起步值 | 调节方向 |
|---|---|---|
| 生成器预训练轮数 | 5~10 | 不预训练直接上对抗，很容易前期就翻车 |
| 内容损失权重 | 1.0 | 图像偏糊就降，结构扭曲就升 |
| 对抗损失权重 | 1e-3 | 在5e-4到1e-2之间扫，优先调它 |
| 生成器/判别器学习率 | 1e-4 / 1e-4 | 判别器降到5e-5可缓解训练停滞 |
| batch size | 8~16 | 显存不足时用梯度累积，不要直接减batch |
| 学习率衰减 | 每50~80轮乘0.5 | 观察验证集LPIPS拐点再降 |
4. SRGAN训练避坑清单：5个踩过的坑与对应解法
4.1 图像发灰、颜色整体变淡：BatchNorm统计漂移
现象：训练中期生成的图像像蒙了一层灰纱，饱和度和对比度明显低于真实HR。
原因：生成器对BatchNorm的统计量依赖过强，而小batch size下BN的均值和方差估计本身抖动就大。判别器看到的真实HR分布和生成分布一旦拉开，梯度方向就变得忽左忽右，颜色信息被当成次要特征压掉了。还有一种低级错误：输入图像归一化到了[-1,1]，输出却忘了乘回[0,1]，色偏会直接写进每一轮结果里。
解决：先确认输入归一化和输出反归一化有没有配对；再固定batch size，显存不够就梯度累积。如果问题还在，把残差块里的BatchNorm换成InstanceNorm或直接去掉，这是ESRGAN后来采用的做法，训练稳定性明显更好。
4.2 棋盘格伪影：PixelShuffle和卷积配置对不上
现象：输出图像里有规律的小格子，明暗过渡区域尤其明显，像棋盘铺在画面上。
原因：PixelShuffle要求卷积输出通道恰好是期望通道数的r²倍，通道排列错一位，重排后的空间位置就出现周期性错位。另一个常见来源是转置卷积的kernel重叠，当kernel size能被stride整除时，相邻位置之间产生周期性的权重重叠，形成棋盘纹理。
解决：先把上采样阶段每一层输出shape打出来，确认PixelShuffle前的通道数严格等于64×4。更稳妥的做法是用常数图像过一遍forward，检查结果是否出现周期亮暗变化。如果换成转置卷积，用kernel=4、stride=2且不重叠的配置，能基本消除棋盘结构。
4.3 退化模型和真实场景不一致：测试图反而不如插值
现象：在DIV2K这类公开数据集上训练，LPIPS和肉眼效果都不错，换到真实场景的压缩图像、手机夜景图上一跑，细节糊成一团，还多了很多塑料感纹路。
原因：训练时用标准双三次降采样构造LR，但真实低分辨率图已经经过了传感器噪声、有损压缩、降噪锐化等多重退化，退化模型完全不同。网络把重建任务当成双三次降采样的逆过程去处理，输入里那些未知噪声就被放大成了假纹理。这是超分辨率重建产品落地时最普遍的翻车点，和模型本身关系不大。
解决：真实的退化建模要按目标场景重建。压缩域场景就先对HR做JPEG压缩再降采样，老照片修复要叠加划痕和颗粒噪声，医学影像还要考虑设备重建滤波的差异。训练集和验证集统一用同一条退化链路，评估结论才有意义。后续如果目标域持续变化，再做盲超分方向的方案，而不是继续堆SRGAN容量。
4.4 内容损失压过对抗损失：细节很多但结构是歪的
现象：生成的图纹理丰富，但窗户横梁、文字边缘出现扭曲，直线放大后不直，或出现断裂。
原因：1e-3的对抗权重在部分数据集上仍然偏小，生成器只顾着把VGG特征拉近，判别器给出的高频细节约束起不了作用。VGG特征空间里等价的图像并不等于几何结构严格对齐，于是生成器在“纹理像”和“结构对”之间选择了前者。
解决：先把对抗权重上调到1e-2试试，同时把判别器学习率降到生成器的1/2，给生成器更多迭代空间。如果纹理开始变得脏乱，再回头微调权重，而不是一次调到1e-1。更细致的做法是把内容损失的特征层从relu4_4前移到relu3_3，纹理约束更强，但会把噪声也带出来，一般先从权重入手。
4.5 判别器提前收敛，生成器原地踏步
现象：训练前几轮正常，之后fake一直能骗过判别器，生成图像换了一批又一批，却都像同一套固定纹理模板。
原因：判别器过拟合了当前batch的样本，没有学到跨样本泛化的差异。GAN里常见的模式崩塌，本质是生成器发现某个固定样式最容易骗过当前判别器，于是收敛到一个极窄的输出分布。
解决：给真实标签做标签平滑，真实图目标设为0.9、生成图目标设为0.1，让判别器不那么自信；判别器学习率下调到5e-5；batch太小时把判别器的BN换成InstanceNorm。另外一个实用技巧是给判别器输入端加水平翻转和随机颜色扰动，逼它学更鲁棒的特征，而不是背样本。
5. 评估与验证：SRGAN输出质量怎么看才不被指标骗
5.1 PSNR、SSIM、LPIPS：一组指标配合使用
SRGAN类模型有个反直觉现象：PSNR往往比传统MSE模型低。不要看到PSNR低就认为模型失败，因为SRGAN本来就是拿像素误差换感知质量。常用的评估指标要按下面这张表来配合：
| 指标 | 反映什么 | SRGAN常见表现 | 建议用法 |
|---|---|---|---|
| PSNR | 像素级误差 | 通常低于同等算力的MSE模型 | 只在同一模型系列内部比版本 |
| SSIM | 亮度、对比度、结构相似性 | 中规中矩 | 用来发现结构严重扭曲，比如文字断裂 |
| LPIPS | 特征空间里的感知距离 | 提升明显 | 作为SRGAN类模型的主要衡量标准 |
实际操作里，我会固定一组图像，先算LPIPS筛选出前几名，再让人眼做最终判断。指标只能帮忙圈定候选，真正拍板还是放大看局部。收集评估图时，要确保HR是原始高分辨率原图，LR由统一退化链路生成，BICUBIC放大只能作为弱基线，不能拿来做最终结论。
5.2 同屏对比清单：固定20张样本盯三处
固定一套验证集比随机抽图可靠得多。我一般准备20张图，每张都包含三类区域：自然纹理（树叶、草地、皮肤毛孔）、几何结构（建筑边缘、文字logo、窗户栏杆）、以及强边缘区域（明暗交界处）。每个checkpoint保存时，用同一个LR输入生成SR，按迭代次数命名，之后做同屏回放。
人眼检查先看边缘振铃，再看纹理是否单一重复，最后看颜色是否偏移。最难判断的是“貌似合理但结构错误”的假细节，比如草地看起来细腻，但树枝走向是乱的。这类误生成在GAN模型里很常见，所以放大到200%到300%看文字和直线边缘，是每次评估必做的动作。
5.3 行业场景适配：老照片、视频、CT类重建设备的注意点
老照片修复的退化链路里除了降采样，还有压缩噪声、划痕、颗粒感，SRGAN训练时要把这些扰动合成进HR再下采样，否则模型会把噪点放大成假细节。视频方向更麻烦，单帧SRGAN会产生帧间闪烁，同一块纹理在不同帧里忽大忽小，落地时要么用光流把帧对齐，要么直接用视频超分方案，而不是对每一帧单独跑SRGAN。
“AI对CT超分辨率重建”这类需求这几年热度很高，但要换一个思路去用。CT影像里的高频信息必须符合解剖结构，生成器凭空编出来的纹理在视觉上也许自然，却可能误导诊断。这个场景里要额外加结构一致性约束，比如梯度损失或边缘损失，并且验收不能只看指标，需要影像科人员对重建切片做判断。SRGAN直接搬过去当通用工具用，风险很高。
提示：通用自然图像超分模型迁移到医疗、遥感等专业场景前，先确认目标域的退化模型和真实性标准，不能把感知质量优化直接等同于专业质量优化。
6. 最后：给每个SRGAN实验一套可回滚的工程习惯
SRGAN的调参很靠手感，也是一个特别容易陷入“玄学”的方向。我给自己定了几条习惯，慢慢就成了避免后悔药缺失的标准流程。第一，checkpoint里不只存网络权重，还要同时存优化器state、学习率调度器state和当前LPIPS验证值，文件名里带epoch和验证值，比如gen_e120_lpips0.124.pth。这样每次改参数都有退路，不会出现跑了一周发现学习率调度器状态丢了、只能从头再来的情况。
第二，每个数据集配套一个degradation标记。训练时会记录用的是“bicubic”“bicubic+jpeg(q75)”还是“bicubic+噪声+划痕”，推理时如果换了一类数据，立刻能判断当前模型是否匹配。线上效果一旦明显变差，先检查退化标记，再考虑换模型，很多时候问题不在网络容量。
第三，训练过程中不要只盯loss曲线。我每2000步就固定生成20张验证图，存成一个目录翻着看。loss下降但图像变灰、边缘扭曲这类问题，数值上不一定能体现，只有亲眼看过才知道该往哪个方向调。想测试是否出现棋盘格，用常数输入跑一次forward，几秒就能确认。
第四，需要扫参时一次只动一个变量。先固定数据退化链路和batch size，然后扫对抗权重；确认权重曲线后，再调判别器学习率。同时改三个参数，等于没有做控制变量，跑出来的好效果也没法复现。
SRGAN这类生成模型，最终交付物不是一张漂亮的曲线图，而是能在固定退化条件下稳定输出自然细节的工程模块。早期我吃过不少亏，靠翻看大量中间结果把问题一条条逼出来，才逐渐摸清每个参数到底在管什么。希望帮到你。
本文还有配套的精品资源，点击获取
