连我自己刚开始接触 PyTorch 时也有很长一段时间处于这种状态：模型能跑通、Loss 能下降、准确率看着也不差，但说不清网络内部到底在干什么。所以到这个系列第 8 期，我特别想把 FeatureMap 可视化这件事摊开讲清楚。它其实不只是一个“画图”功能，而是把卷积层输出的中间证据直接摆到你面前，让你能真正看懂网络每层提取到了什么，又是怎么一步步从边缘纹理走向高层语义的。
这篇文章我会围绕“为什么要可视化”“有哪些取特征图的思路”“用 ResNet18 实际跑一遍”“从结果里能看出什么”以及“实操中的坑”这几个方向来写。适合已经能训练一个简单 CNN、但是还想加深对模型理解的读者，也适合刚接触 PyTorch 但对 hook 机制一头雾水的新手。看完之后，你可以把同样的代码迁移到自己的模型上，批量展示任意中间层的特征图。
1. 为什么一定要把 FeatureMap 摊开看：卷积层的输出不是数字，是证据
1.1 一张特征图，本质上是一个滤波器在整张图上的“响应热区”
在 CNN 里，每一层卷积的输出其实是一组四维张量，形状通常是[B, C, H, W]，其中 B 是 batch size，C 是通道数，H 和 W 是特征图的高度和宽度。很多人刚看到这个形状时，只会把它当成“一个维度比较多的矩阵”，并不清楚 C 这个维度到底意味着什么。
你可以把每一个通道理解为：输入图像经过某一个卷积核之后，在全图上逐位置计算得到的响应值。某个位置数值越高，说明这个局部区域和该卷积核所编码的模式越匹配。比如一个卷积核学的可能是横向边缘，那特征图中横向边界经过的位置就会特别亮；学的如果是圆形纹理，那图片中所有接近圆形的区域都会被高亮。
这和我们传统图像处理里的边缘检测算子很像，比如 Sobel 算子就是预先设计好的 3×3 卷积核，专门用来响应横向或纵向边缘。CNN 里的卷积核则是从数据中自己学出来的，而且数量往往从几十到上千不等。所以一张 224×224 的彩色图经过第一层卷积后，可能变成 64 张 112×112 的特征图。原始输入只有 RGB 三个通道，而网络内部一次就拆出 64 个视角。不把这些通道铺开来看，你根本不知道它到底看到了什么。
1.2 可视化这一步，其实是在做模型诊断而非单纯的“画图”
FeatureMap 可视化的价值，不只是让报告好看。我在实际项目里最常用的场景是模型诊断。
第一种情况是模型“看起来能分类，但实际理解有偏差”。比如训练一个猫狗分类器，准确率看起来到了 90%，但可视化深层特征图后发现，某个通道的高亮区域一直集中在图片角落的水印上，而不是猫或狗的主体。这说明模型可能没有真正学会区分猫狗，而是无意中把水印当成了判断线索。一旦测试集里的水印分布变化，准确率就会暴跌。这种问题只盯着 loss 曲线是发现不了的，但看一眼特征图就能定位。
第二种情况是观察通道冗余度。如果某一层的大多数通道可视化后几乎长得一样，说明卷积核学出来的特征高度重复，网络容量有浪费，后续做通道剪枝的时候就可以优先处理这些冗余通道。
第三种情况是辅助判断模型应该在哪一层做特征抽取。很多下游任务，比如风格迁移、图像检索、目标检测里的特征金字塔，都需要选取合适的中间层特征。可视化能直观告诉你：浅层特征偏纹理、深层特征偏语义，到底从哪一层开始“语义”变明显了，看几张特征图心里就有谱了。
2. 动手前先排兵布阵：捕获中间层输出的三种方案与取舍
2.1 方案一：改写 forward，让模型顺手带回中间结果
最容易想到的办法是改模型。把原来的模型包一层，在 forward 里同时返回最终结果和中间层特征。比如我想截断一个预训练模型，前半段输出特征，后半段继续出分类结果，可以写成这样：
import torch.nn as nn class FeatureExtractor(nn.Module): def __init__(self, base_model): super().__init__() self.features = nn.Sequential(*list(base_model.children())[:7]) self.head = nn.Sequential(*list(base_model.children())[7:]) def forward(self, x): feat = self.features(x) out = self.head(feat) return out, feat这个方案最大的优点是直观，forward 逻辑完全由我们自己控制，拿到中间特征之后想继续做监督训练、做特征对齐都很方便。但缺点也很明显：一旦模型结构不能简单地按children()顺序切割，或者你想同时拿好几个中间层，那就要在 forward 里到处保存变量，代码会被弄得很难看。而且如果 base_model 是一个封装好的复杂模型，比如带多分支结构的网络，这种写法几乎没法做到精准“摘取”任意内层特征。
所以它更适合长期重复使用、结构固定、并且你已经完全掌控模型源码的场景。临时做一次可视化实验，用这种方案反而会增加烦恼。
2.2 方案二：拆子模块逐段前向，记录每段输出
如果不想改动模型，也可以沿着子模块顺序做前向传播，每经过一个子模块就把输出存下来：
def forward_and_collect(model, x): outputs = {} for name, module in model.named_children(): x = module(x) outputs[name] = x.detach().cpu() return x, outputs对 ResNet 这种结构相对简单的模型来说，这样做能拿到conv1、layer1、layer2等顶层子模块的输出。问题在于named_children()只会遍历模型的第一层子模块，如果你想拿layer1[0].conv1这种深层内部小模块的输出，这种循环就无能为力了。除非你再写一个递归遍历函数，专门判断当前模块是什么类型、是否需要记录输出。
而且一旦网络里有残差连接、注意力分支或者多尺度融合这类结构，简单的顺序传播记录就会出错，因为你把特征图从某个分支里取出来之后，后面的计算可能还需要它的梯度或者别的分支输入。所以这个方案适合快速验证、网络结构非常简单的情况，但不适合作为通用工具。
2.3 方案三：forward hook，不侵入模型内部又能精准取数
PyTorch 提供了一套更优雅的机制：前向钩子。你可以在任意 Module 上注册一个回调函数，模块执行完 forward 之后，PyTorch 会自动调用这个回调，并把模块的输入、输出都传给你。我常用的是register_forward_hook：
captured = {} def hook_fn(module, input, output): captured["layer4_0_conv1"] = output.detach().cpu() handle = model.layer4[0].conv1.register_forward_hook(hook_fn) model(x) handle.remove()这里有几个关键细节要留意。第一，hook 是注册在具体的模块实例上的，不是注册在某个层类型上，所以一定要拿到类似model.layer4[0].conv1这样的具体层对象。第二，hook 回调函数接收的参数是(module, input, output)，output 就是该模块前向计算的返回值。第三，用完记得调用handle.remove()把钩子卸掉，否则它会一直留在模型上，下次 forward 还会继续触发，容易造成重复记录和内存累积。
这套机制不侵入模型结构，不需要修改原始 forward 逻辑，也能精确定位到任何一个子模块。对于可视化 FeatureMap 这种临时性、诊断性的任务，它是最省事的方案。
2.4 三套方案横向对比：我为什么几乎只用 hook
| 方案 | 侵入性 | 灵活性 | 对复杂结构适配性 | 建议使用场景 |
|---|---|---|---|---|
| 改写 forward | 高 | 中 | 需要手动维护大量变量 | 长期复用、固定模型、需要中间特征参与训练 |
| 拆子模块逐段前向 | 低 | 低 | 对残差、多分支结构容易出错 | 一次性快速验证、极简单网络 |
| forward hook | 极低 | 高 | 可以精准到任意子模块 | 可视化诊断、调试、临时抽取特征 |
我自己在可视化 FeatureMap 这件事上几乎只用 hook。原因很简单：它不需要我改动原始模型，也不依赖模型整体是什么结构，只要我能定位到具体的模块对象，就能把这个模块的输出拿出来看。即便模型后来升级换代了，比如从 ResNet18 换成 ResNet50，或者换成高效网络之类的结构，hook 的代码主体仍然可以复用，变化的只是目标层的路径名。
3. 实操：用 ResNet18 把一张真实照片的特征图批量“捞”出来
3.1 准备环境、预训练权重与测试图片
我们先准备好依赖：
import torch import torchvision.models as models import torchvision.transforms as T from PIL import Image import matplotlib.pyplot as plt import numpy as np加载 ResNet18 预训练权重时，不同的 torchvision 版本写法略有差异。新版推荐用weights参数：
device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = models.resnet18(weights=models.ResNet18_Weights.IMAGENET1K_V1) model = model.to(device).eval()旧版则流行写models.resnet18(pretrained=True)，现在再用的话会收到 DeprecationWarning。第一次下载权重时可能需要一点时间，权重会缓存在本地，之后再用就不需要重复下载了。
测试图片我一般会选一张有明确主体、背景不过于杂乱的图。比如拍一张桌上的玩偶照片，或者找一张主体足够突出的街景图。原因很简单：特征图是要看空间响应的，如果原图本身就有大片复杂纹理，浅层特征看起来会非常杂乱，不利于讲解和对比。
图片预处理要和预训练权重保持一致。ResNet 系列在 ImageNet 上训练时，使用的归一化参数是 ImageNet 的均值标准差，所以变换应该写成：
transform = T.Compose([ T.Resize((224, 224)), T.ToTensor(), T.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) img = Image.open("sample.jpg").convert("RGB") x = transform(img).unsqueeze(0).to(device)这里的unsqueeze(0)加的是 batch 维度，因为模型输入是[B, C, H, W]，单张图片也得组成一个 batch。
3.2 注册多个 hook：一次前向拿回五个中间层
我一般会同时注册 5 个不同位置的 hook，覆盖从浅到深的典型阶段。在 ResNet18 里，layer1到layer4分别对应 4 个 stage，每个 stage 都由若干 BasicBlock 组成。这里取每 stage 的第一个 BasicBlock 里的第一个卷积层作为采样点：
feature_maps = {} def make_hook(name): def hook_fn(module, input, output): feature_maps[name] = output.detach().cpu() return hook_fn target_layers = [ ("conv1", model.conv1), ("layer1_0_conv1", model.layer1[0].conv1), ("layer2_0_conv1", model.layer2[0].conv1), ("layer3_0_conv1", model.layer3[0].conv1), ("layer4_0_conv1", model.layer4[0].conv1), ] handles = [] for name, layer in target_layers: handles.append(layer.register_forward_hook(make_hook(name))) with torch.no_grad(): _ = model(x) for h in handles: h.remove()有几个细节值得说明。
第一个细节是：model.conv1之后其实还有bn1和relu，它们并没有挂在conv1这个模块内部，而是作为模型的顶层子模块存在。所以如果你 hook 的是model.conv1，拿到的输出是卷积计算结果，里面可能还带着负值。而如果你 hook 的是某个 BasicBlock 里的conv1，同样也不会自动包含后面的 BN 和 ReLU，因为它们是 BasicBlock 内的其他子模块。这个特点会影响我们对归一化的处理，后面会专门提到。
第二个细节是：在model(x)外面包了一层torch.no_grad()。我们只是要看特征图，不需要梯度，所以用no_grad()能省下不少显存和计算量。
第三个细节是output.detach().cpu()。如果不做 detach，输出会保留在计算图里，占用额外显存；如果不转到 CPU，大量特征图会一直在 GPU 上，后续画图、保存也不方便。这里的建议是：一旦 hook 里拿到了想要的输出，立刻detach().cpu()拷贝出来，最大限度释放显存压力。
3.3 把张量转成可读图像：拆维、归一化、网格绘制
拿到五个层输出之后，先看看它们的形状：
for name in feature_maps: print(name, feature_maps[name].shape)ResNet18 输入 224×224 图片时，我上面选的那几个层输出形状大概是这样：
| 层 | 输出形状 |
|---|---|
| conv1 | [1, 64, 112, 112] |
| layer1_0_conv1 | [1, 64, 56, 56] |
| layer2_0_conv1 | [1, 128, 28, 28] |
| layer3_0_conv1 | [1, 256, 14, 14] |
| layer4_0_conv1 | [1, 512, 7, 7] |
可以看到一个非常典型的变化趋势：空间分辨率不断减半，从 112 到 7，通道数不断翻倍。这就是 CNN 把空间信息逐步压缩成语义信息的过程。
接下来写一个通用绘制函数。因为特征的数值范围和最小值都有差异，如果直接把原始张量丢给imshow，大概率会得到一片黑或一片白。所以我习惯先做逐通道的 min-max 归一化，再绘制：
def normalize_feature(fm): lo, hi = fm.min(), fm.max() if hi - lo < 1e-8: return torch.zeros_like(fm) return (fm - lo) / (hi - lo) def show_feature_maps(feature_map, title, max_show=8): fm = feature_map.squeeze(0) # 去掉 batch 维度，变成 [C, H, W] C = fm.shape[0] show_c = min(C, max_show) cols = 4 rows = (show_c + cols - 1) // cols fig, axes = plt.subplots(rows, cols, figsize=(cols * 2.5, rows * 2.5)) for i in range(show_c): ax = axes.flat[i] normalized = normalize_feature(fm[i]) ax.imshow(normalized, cmap="viridis") ax.set_axis_off() plt.suptitle(title) plt.tight_layout() plt.show()这里只取前 8 个通道展示。如果你想看不同通道，可以修改max_show，或者按后面第 5 节的方法做通道挑选后再展示。
3.4 第一次运行之后，你手里会得到什么
运行上面的代码后，你会得到五组图。以一张主体比较清晰的玩偶照片为例：
conv1的特征图最明显的特点是纹理清楚，图里玩偶的轮廓、毛发细节、背景里的线条都还能辨认出来，只是整体像加了一层奇怪的滤镜。layer1的特征图开始出现一定的结构感，某些通道会沿着玩偶五官或者布料边缘高亮。layer2和layer3的特征图空间分辨率越来越低，单张图看起来越来越抽象，亮点往往是某个局部区域。layer4的特征图是 7×7 大小，整体非常稀疏，很多通道几乎是全黑的，只有个别通道在某些空间位置有明确响应。
看到这个结果，你就能直观理解为什么说 CNN 是“由粗到细”地理解图像：空间定位越来越粗糙，但语义判断越来越明确。这比单纯看损失曲线要有说服力得多。
4. 可视化结果里藏着的认知规律：层越深，语义越抽象
4.1 浅层通道：边缘、纹理和方向，特征图看起来最“像原图”
浅层特征图的第一个观感是：它和原图的空间结构高度一致。比如原图里玩偶头部所在的位置，在浅层特征图里往往也是高亮集中的区域，只不过高亮的形式变成了边缘、线段和局部纹理。
这是因为浅层卷积的感受野很小，每个输出位置只看到了输入图像的一小块局部范围，缺乏全局上下文。所以它们能捕捉到的就是局部对比度、边缘方向、颜色突变、微小纹理这类底层信息。如果你在通道里看到某一张特征图特别像传统的 Sobel 边缘图，那说明这个卷积核学到的内容和传统边缘检测算子非常接近。
浅层的另一个特点是通道之间比较相似。一开始的 64 个通道里，可能有不少通道视觉上看起来都差不多，都是把图像的边缘高亮。这一点也很正常，因为底层特征的组合空间本来就比较有限，卷积核会反复学到类似的局部模式。
4.2 中层通道：从线条过渡到局部结构，开始出现部件感
到了layer2、layer3之后，特征图逐渐从“整幅图的滤镜”变成“局部结构的响应”。你会看到某些通道只对手部、头部、轮子这类部件形状有响应，而不是整幅图到处都有响应。换句话说，中层特征开始组合浅层边缘，形成一个一个带有语义意味的局部结构。
这也是为什么很多视觉任务喜欢用中层次特征做 perceptual loss 或者特征匹配。这一层既保留了一定的空间分辨率，又不像浅层那样只盯着纹理，还具备初步的语义抽象能力。用它来判断两张图在内容上是否相似，往往比直接用高层分类特征更稳定。
4.3 深层通道：响应变稀疏，模式变明确，也最容易暴露模型偏见
到了layer4，特征图分辨率只有 7×7，单通道看起来就是一小块一小块的网格。这时候很多通道几乎是全零的，只有极少数通道在某些空间位置有明显响应，说明网络已经不再关心“哪里有边缘”，而是更关心“这里是不是某个语义部件”。
深层特征图最值得做的诊断，是观察高响应空间区域到底落在原图的哪个位置。我之前在自己训练的模型上见过非常典型的案例：模型学会了判断图像类别，但深层特征图的高亮区域却全部落在图像角落的水印上。这说明它走了一条“捷径”，靠的是数据里偶然出现的背景线索，而不是物体本身。如果你只盯着准确率，这类问题要到换数据集的时候才会爆发；但看一眼深层特征图，当场就能发现。
4.4 顺着通道做纵向对比：同一个空间位置在不同层的“理解”差异
把同一个物体在不同层特征图上的响应放在一起对比，会非常有意思。比如一张玩偶照片，在第一层卷积特征图里高亮的是玩偶的轮廓；到了中层，高亮区域会往眼睛、耳朵、衣领这些小部件聚集；到了深层，响应则集中到能代表整个玩偶类别的核心区域。
这个现象说明 CNN 并不是简单地把图像缩小，而是同步在做“信息选择”。它从一张图里筛选出越来越关键的信息，丢掉那些与任务无关的细节。理解了这一点，后面再看各类可视化方法，比如 CAM 类方法，就会更容易理解：那些方法本质上都是想让深层激活的空间分布和原始输入位置对齐，从而告诉我们模型做判断时“看”了哪里。
5. 让输出更有价值的三个操作：数值归一化、热力图叠加、通道挑选
5.1 不归一化？你看到的八成是噪声或一片死黑
我见过不少人第一次画特征图时直接把output传给plt.imshow，结果看到一张全黑或者全白的东西。原因很简单：卷积输出的数值分布不是 0 到 1，可能是 -0.8 到 8.0，也可能整张图集中在一个非常窄的范围里。如果不做归一化，图像的大部分像素都会被imshow的默认色标压缩成同一个颜色，细节全丢。
所以要养成固定习惯：画每个通道之前，先对该通道做 min-max 归一化。若是整张特征图做全局归一化也可以，但当通道数很多、某些通道明显很亮时，全局归一化会让其他通道变得看不清。因此按通道独立归一化更稳妥。
如果你想保留原始数值分布的信息，也可以直接在imshow里设置vmin和vmax，比如：
ax.imshow(fm, cmap="viridis", vmin=-1, vmax=1)这样就不会自动拉伸到全局最大最小值，能更真实地反映激活强度差异。
5.2 把特征图叠加到原始图片上：直观回答“哪里被激活”
单张灰度特征图告诉你“哪些位置有响应”，但看不出这些位置对应原图的什么内容。更好的做法是把特征图上采样回原始尺寸，然后半透明叠加到原图上。
from torch.nn.functional import interpolate fm = feature_maps["layer3_0_conv1"].squeeze(0) # [C, H, W] # 先对所有通道取平均，相当于该层整体响应强度的粗略分布 mean_fm = fm.mean(dim=0, keepdim=True).unsqueeze(0) # [1, 1, H, W] mean_fm = interpolate(mean_fm, size=(224, 224), mode="bilinear", align_corners=False) mean_fm = mean_fm.squeeze() mean_fm = (mean_fm - mean_fm.min()) / (mean_fm.max() - mean_fm.min() + 1e-8) orig_np = np.array(Image.open("sample.jpg").convert("RGB").resize((224, 224))) plt.figure(figsize=(10, 5)) plt.subplot(1, 2, 1) plt.imshow(orig_np) plt.axis("off") plt.subplot(1, 2, 2) plt.imshow(orig_np) plt.imshow(mean_fm.numpy(), cmap="jet", alpha=0.55) plt.axis("off") plt.show()这里有两个技巧。第一，对于分辨率低的深层特征图，必须先上采样回原图大小再叠加，直接叠加会因为尺寸不匹配而失败。第二，透明度alpha通常选 0.4 到 0.6 之间，太透明看不到高亮区域，太不透明又看不清原图。如果你用的是单通道灰度图，建议用jet这类蓝到红的 colormap，视觉对比更强。
5.3 不要随机选通道：按响应强度排序，把最强信号放前排
很多时候你会面对几十个甚至几百个通道，不知道看哪个。千万不要随机选前 N 个通道，因为深层很多通道是全黑或者近乎噪声的，随机选大概率选不到有价值的图。
我常用的做法是：针对某层特征图，先计算每个通道所有空间位置的平均响应强度，然后按强度从高到低排序，取 Top-K 个通道展示。
fm = feature_maps["layer4_0_conv1"].squeeze(0) # [C, H, W] scores = fm.flatten(1).mean(dim=1) # 每个通道的平均激活值 top_indices = scores.topk(8).indices.numpy() for idx in top_indices: normalized = normalize_feature(fm[idx]) plt.imshow(normalized, cmap="viridis") plt.title(f"channel {idx}, score={scores[idx]:.4f}") plt.axis("off") plt.show()除了 Top-K，偶尔也可以看一眼平均激活值最低的通道，它们通常对应“沉睡”的卷积核，对当前图片没什么响应。这个信息在分析模型容量浪费时很有用，但在日常展示中优先级没那么高。
6. 做了十几组可视化后我踩过的坑，希望你直接绕开
6.1 没切 eval() 模式，同一张图跑两次结果都不一样
这是我第一次做特征图可视化时踩得最实的一个坑。当时只是在加载完模型后直接扔了一张图进去，结果发现同一张图每次画出来的特征图都不一样。一开始还以为是随机性导致的，后来反应过来是模型根本没有切到推理模式。
PyTorch 模型默认是 train 模式。在 train 模式下，BatchNorm 会使用当前 batch 的统计量，并且 dropout 层会随机丢掉一部分输出。这会造成同一个输入经过同一层时，输出每次都有波动。特征图可视化本质上是想观察模型稳定的行为，所以必须在 forward 之前调用model.eval()。如果不想保存梯度，再配一个torch.no_grad()更稳妥。
6.2 hook 里直接保存整个 output，显存差点爆掉
另一个容易忽视的问题是：hook 回调函数拿到的output是带着梯度计算链路的张量。如果你直接把output保存到一个全局列表里而不做detach().cpu()，这些张量会一直被计算图引用，显存久久无法释放。对大模型、长序列或者多 batch 输入来说，这很可能导致前方 forward 正常、hook 一加上去就 OOM。
所以我在所有 hook 里的固定写法都是：
def hook_fn(module, input, output): feature_maps[name] = output.detach().cpu()detach()斩断梯度链路，.cpu()把数据复制到内存。如果你后续还想要原图对应的梯度信息，那就不适合在 hook 里过早 detach；但可视化 FeatureMap 通常不需要梯度，所以这个写法足够安全。
6.3 预处理与训练时不一致，特征图开始“骗人”
用预训练模型做可视化时，输入图片的预处理必须和训练时保持一致。ResNet18 在 ImageNet 上训练时用的是Resize + CenterCrop + Normalize，后者的参数就固定在mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]。如果只用ToTensor()不做归一化，或者随手填一组别的均值和标准差，模型接收到的数值分布就不是它熟悉的范围，特征图的激活强度和分布都会大幅偏离预期。
这个现象在做对比实验时尤其危险。不同图片之间，如果预处理流程不统一，你看到的特征图差异到底来自图片本身还是预处理，根本说不清楚。所以建议把预处理变换封装成一个固定的函数，所有测试图片都走同一个流程。
6.4 服务器无界面环境：savefig 比显屏更可靠
很多深度学习工作是在没有显示器的服务器上进行的，远程环境下调用plt.show()可能会直接报错或者卡住。我现在的习惯是：能保存文件就保存文件，不依赖弹窗。
只要在脚本开头设置matplotlib.use("Agg")，然后统一用plt.savefig()输出图片，就能在纯命令行环境正常出图：
import matplotlib matplotlib.use("Agg") plt.savefig("feature_map_layer1.png", dpi=150, bbox_inches="tight") plt.close()dpi=150足够清晰，bbox_inches="tight"能自动裁掉多余空白。如果你想要特征图保存在内存里继续做分析，也可以用io.BytesIO()把图像数据临时缓存起来，而不落盘到文件。
我后来做模型诊断时，基本都是把这类可视化脚本做成一个函数，输入任意模型、任意目标层名、任意图片，输出一张汇总了多层级特征图的网格图。时间久了你会发现，可视化 FeatureMap 这件事本身并不难，难的是保持稳定的出图流程和一套能真正指导模型调整的分析习惯。希望这篇里的每一步，都能让你少走一点弯路。
