少样本图像识别（Few-Shot Image Recognition）这个方向，我前前后后看过不少论文，大部分工作都在“度量学习”和“元学习”这两条老路上翻来覆去。但《Few-Shot Image Recognition by Predicting Parameters from Activations》这篇，是少有的让我读完有“原来还能这么干”感觉的文章。它的核心思路一句话能说清：不去学一个固定的分类器，也不指望测试时再微调，而是训练一个“参数预测器”，让它直接根据支持集图片在骨干网络上的激活特征，生成新任务分类器的权重。听起来有点绕，但想通之后非常自然——骨干网络在不同任务之间共享，那分类器参数本质上就是支持集信息的一个函数，把这个函数学出来就行了。
这篇论文解决的是少样本场景下的核心痛点：新类别只有一两张标注图，怎么才能快速得到一个稳定可用的分类器。它的优势在于推理快、不需要测试时反向传播、对类别数量不敏感，既适合做研究复现，也适合想在生产环境里快速适配新类别的工程团队。下面我按自己复现时的思路，把论文的核心设计、关键技术细节、训练套路和踩过的坑一次性讲清楚。
1. 核心思路拆解：为什么不走微调，非要“预测参数”
1.1 少样本场景下的两难困境
先把问题定义说清楚。少样本图像识别通常是这么设置的：先有一批数据充足的基类（base classes），用它们训练出一个通用的特征提取网络。到了新任务里，出现一批基类里没见过的新类，每一类只有 1 到 5 张标注样本（support set），要求模型能对同一批新类的查询图片（query set）正确分类。这个场景最常见的形式是 5-way 1-shot、5-way 5-shot，也就是 5 个类别，每类 1 张或 5 张支持图。
传统思路是迁移学习：用基类把骨干网络训好，新任务来的时候，把最后的全连接分类头换掉，用新类样本去微调。问题在于，新类样本太少，一个 N 类分类器，输出维度虽然不大，但每个类只有一两张样本，全连接层的权重根本拟合不稳，基本都是过拟合收场。所以当时的主流解法分成两派：一派用距离度量代替分类器，另一派用元学习学一个“好初始值”。度量派的问题在于决策边界被特征空间的分布限制住，可解释性强但上限不高；元学习派的代表 MAML 思路灵活，但测试时需要迭代梯度，推理慢，训练也容易不稳定。
这篇论文其实踩在两者中间：保留一个可学习的线性分类器，但是不靠梯度去解权重，而是靠另一个网络“算”出权重。它把“生成分类器”这件事本身变成了一个可以学习的映射。
1.2 核心立意：把参数当输出，把激活当输入
假设骨干网络是 f_θ，输入一张图片 x 经过骨干网络后得到特征向量 f_θ(x)。对于新任务里的某个类 k，它的支持集是若干张图，我们把这几张图的特征取平均，得到一个类级别的激活向量 a_k，这个向量的含义是“这个类在特征空间里的代表点”。传统原型网络会拿它直接做距离度量，而这篇论文的做法是：把 a_k 喂给一个小网络 P_φ，让它输出类 k 在最终线性分类器里的权重向量 w_k。
形式化一点就是：w_k = P_φ(a_k)。所有类别共享同一个参数预测器 P_φ。得到每个类的权重之后，查询图片的特征直接和这些权重做内积，得到 logits，再过一个 softmax 就是分类结果。
这个设计最聪明的地方在于，它把“支持集信息如何转化为判别边界”这件事从手工设计变成了数据驱动。距离度量方法相当于人为规定“用原型点的邻近度做决策”，这个约束太强；而参数预测方法只规定“权重是特征的函数”，函数具体长什么样由训练数据说了算，所以它理论上能表达比余弦距离、欧氏距离更复杂的决策规则。
1.3 和主流方法放在一起对比，差异一目了然
我用一张表把当时几类代表性方法的差异列出来，方便理解这篇论文的位置。
| 方法类型 | 代表思路 | 测试时是否要梯度更新 | 分类器形式 | 主要瓶颈 |
|---|---|---|---|---|
| 常规微调 | 预训练骨干 + 新头微调 | 是 | 线性分类器 | 样本太少，过拟合严重 |
| 匹配网络 | 特征嵌入 + 注意力加权 | 否 | 非参数最近邻 | 决策规则受限 |
| 原型网络 | 类均值作为原型 | 否 | 距离度量 | 只能表达线性/球状边界 |
| MAML | 学一个好的初始化 | 是 | 梯度更新后的分类器 | 推理慢，二阶导数训练难 |
| 本文方法 | 从激活预测参数 | 否 | 动态生成的线性分类器 | 预测器本身需要精心训练 |
从这个对比能看出，本文的定位很清晰：它保留了线性分类器的判别力，又避免了测试时迭代，推理速度接近原型网络，表达能力却向微调方法看齐。对一个要部署到在线服务里的系统来说，“拿到几张样本、一次前向就生成分类器”这个特性非常实用。
2. 方法细节解析：参数预测器的结构设计与那些容易忽略的数学细节
2.1 整体数据流：从支持集到分类器权重的完整链路
我把整个流程拆成分步描述，复现的时候照着这个顺序写代码就行。
第一步，采样一个任务（episode）。从基类里随机选 N 个类，每类抽 K 张支持图、Q 张查询图。第二步，把支持图和查询图都送进骨干网络，取骨干网络输出的特征。注意这里一般要做全局池化，得到一个向量，而不是保留空间位置的 feature map，因为最终分类器权重是一个向量形状的东西。第三步，对每个类，把该类 K 张支持图的特征逐元素取平均，得到 a_k。第四步，把 a_k 输入参数预测器 P_φ，输出该类对应的分类器权重 w_k。第五步，计算查询图片特征与所有 w_k 的内积，拼接成 logits，算交叉熵损失。
整个链路里，骨干网络和参数预测器是一起端到端训练的。也就是说，特征提取的方向也会被“要方便生成分类器权重”这个目标反向塑造。这一点很重要：如果你先固定骨干网络，只训练预测器，效果会差不少，因为基类训出来的特征不一定适合被预测器映射成判别权重。
2.2 零均值约束：一个降低输出维度的关键数学细节
最初我以为预测器就是简单地把 D 维特征映射到 D 维权重，后来读细节才发现有一个很精巧的预处理：对预测出来的权重矩阵做零均值约束。假设最终分类器要处理 N 个类，权重矩阵是 W，形状是 N×D，其中第 k 行是 w_k。论文要求每一行的均值都为零，也就是 1ᵀw_k = 0。
为什么这样做好处大？一个线性分类器的输出是 w_kᵀf(x) + b_k。如果 w_k 的均值不为零，那么 w_k 可以拆成一个常数向量 c 加上一个零均值向量，其中常数部分对每个类的贡献是相同的，本质上可以被偏置项 b_k 吸收。如果不加约束，预测器就要在 D 维空间里预测权重；加了约束，真正需要预测的自由度变成 D-1 维。少一维听起来不多，但对于高维权重来说，输出空间的体积直接缩小了，预测器要搜索的范围变小很多，训练稳定性和泛化能力都会提升。
实现的时候有两种做法：软约束是在损失函数里加一项权重均值的惩罚项，硬约束是在预测器输出之后直接减去每行的均值。论文走的是硬约束路线，我复现时也推荐硬约束，简单且可控。如果你看到别人复现代码里输出层后面跟了一段“减均值”的操作，就是这个原因。
2.3 参数预测器的结构选择：从单层线性到残差加深
一个很自然的疑问是：参数预测器 P_φ 应该做多复杂？论文的实验结论很有启发性：哪怕只有一个不带偏置的全连接层，也就是 w_k = W_map · a_k，在这个框架下就已经能取得不错的效果。这说明“激活到权重”的映射确实存在一个近似线性的核心规律。
但只用单层线性映射，表达能力有限，分类边界本质上还是被限制在特征空间的线性划分上。论文尝试把预测器加深，发现性能会持续提升。我复现时采用的方案是：先一层线性映射把激活向量投影到中间维度，然后接 BatchNorm 和 ReLU，再叠加几个残差块，最后输出 D 维权重向量。残差结构在这里不是强行堆深度，而是有实际意义——如果预测器的目标函数接近恒等映射加一个小扰动，残差结构能让网络先学会“什么都不做”，再慢慢学“需要调整的部分”，训练稳定得多。
还有一点值得注意：预测器是逐类独立作用的，也就是说它输入一个类的激活向量，输出这个类的权重，每个类的处理完全共享同一套参数。这样做的好处是，测试时类的数量可以任意变化，训练时用 5-way，测试时如果变成 10-way 甚至 20-way，直接把每个类的激活向量分别过一遍预测器就行，不需要重新设计网络。这一点对实际部署太重要了。
2.4 训练方式：Episode 采样、损失函数与端到端更新
训练流程是标准的 few-shot episodic training。每个 episode 里，从基类训练集中随机抽出 N 个类作为“假装的新类”，每类抽 K 张支持图、Q 张查询图。这个“假装是少样本任务”的设计是整个元学习范式的核心：训练的时候模型经历的分布和测试时一致，它才知道该怎么应对“类别没见过、样本非常少”的情况。
损失函数就是查询集上的交叉熵。和普通分类不同，这里的分类头不是固定参数，而是由当前 episode 的支持集会动态生成的。因此每一轮迭代都会走一个完整路径：支持集提取特征 → 平均成激活 → 预测器生成权重 → 查询集打分 → 算损失 → 反向传播。梯度会同时更新骨干网络和预测器。
我在复现时有一个小发现：先把骨干网络在基类上用标准分类任务预训练一个阶段，再进入 episodic 训练，收敛速度会明显更快，最终精度也更好。如果从头直接做 episodic 训练，也不是不行，但要花更多时间让骨干网络从零学会一个“可被预测器利用”的特征空间。预训练相当于给了特征提取一个很好的起点，这个技巧在很多 few-shot 方法里都通用。
3. 实操过程与复现要点：从数据集到超参数的一次完整落地
3.1 数据集选择与划分策略
复现这篇论文最常用的基准是 miniImageNet，一共 100 个类，每类 600 张图，通常按 64/16/20 切分成训练、验证、测试三部分。切分的原则是：训练和测试的类别完全不相交，这样才能模拟“新类没见过”的真实场景。另一个常用基准是 Omniglot，手写字符数据集，类别数量多，样本数少，适合做 20-way 的比较极端设置。
我个人的建议是先用 Omniglot 跑通流程，再上 miniImageNet。Omniglot 数据集小、训练快，几分钟就能看到结果，适合验证代码有没有写对；miniImageNet 才真正考验方法能力。如果追求更强的对比公平性，还可以用 tieredImageNet，它的类别按超类划分，训练和测试的语义差异更大，难度也更高，但这也是后话了。
3.2 骨干网络与图像预处理
骨干网络我用过 ResNet-50 和 ResNet-12。ResNet-50 上限更高，但对机器要求高，训练慢；ResNet-12 参数量小，收敛快，在 few-shot 社区里更常见。输入尺寸常见做法是 224×224，或者干脆缩小到 84×84 来提升训练速度。预处理方面，标准化用 ImageNet 的均值方差，数据增强用随机裁剪、水平翻转和颜色抖动。
这里有一个容易被忽视的问题：支持集和查询集在测试阶段的预处理必须完全一致。我见过有人训练时给支持集做随机增强、查询集不做，这会在训练和测试之间制造不一致。更合理的做法是，训练时支持集和查询集都做同样强度的数据增强，测试时都只用中心裁剪。增强的目的不是让模型看到更多噪声，而是让它在少样本情况下对位置、光照变化更鲁棒。
3.3 关键超参配置与训练策略
下面这份配置是我复现时实际用起来比较稳的一套，拿去做参考完全可以，具体数值可以按机器性能微调。需要说明的是，这不是论文原始实验的逐项复刻，而是我在多次调试中验证过的一组合理参数。
| 配置项 | 推荐值 | 说明 |
|---|---|---|
| 骨干网络 | ResNet-12 | 小模型、收敛快，适合快速验证 |
| 输入尺寸 | 84×84 | 训练加速，few-shot 任务常见尺寸 |
| 任务设置 | 5-way 1-shot / 5-shot | 对应论文主要实验设置 |
| 查询图数量 Q | 15 张/类 | 保证每个 episode 损失有足够统计量 |
| 优化器 | Adam，初始学习率 0.001 | 对预测器这种非标准结构更稳 |
| 学习率调度 | 每 30 轮衰减 0.1 | 后期收敛更精细 |
| 总训练轮数 | 60~100 | miniImageNet 上一般够用 |
| 预测器结构 | 线性层 + 残差块 + BN | 先用单层线性跑通再加深 |
| 零均值约束 | 输出后直接减行均值 | 硬约束，简单有效 |
一个关键细节是 BatchNorm 的使用。base 网络里的 BN 在测试时要切到 eval 模式，用滑动平均统计量；预测器里的 BN 在训练时也不能依赖太小的 batch。少样本任务里一个 episode 的样本数本来就不多，1-shot 时预测器一次只能看到一个类的 1 个激活向量，如果 BN 的 batch 统计量不稳定，训练会非常飘。我的做法是预测器里优先用 GroupNorm 或者 LayerNorm，它们不受 batch 大小影响，稳定性好很多。
3.4 从零到一的伪代码参考
我贴一段训练核心流程的伪代码，用常见的深度学习框架语法写，重点在于展示整体数据流。实际工程里还要加上数据加载、模型保存、日志等外围代码。
def train_one_episode(base_net, predictor, opt): # 1. 随机采样一个任务：N 个类，每类 K 张支持图、Q 张查询图 classes = sample(base_classes, N) # N = 5 support, query = sample_episode(classes, K, Q) # 2. 提取支持集特征，并做全局池化得到向量 feat_s = base_net(support) # 形状 [N*K, C, H, W] feat_s = feat_s.mean(dim=(-2, -1)) # 形状 [N*K, D] # 3. 每类的 K 张特征取平均，得到类级别激活 act = feat_s.view(N, K, -1).mean(dim=1) # 形状 [N, D] # 4. 参数预测器：从激活生成分类器权重 W = predictor(act) # 形状 [N, D] # 5. 对权重做零均值约束 W = W - W.mean(dim=1, keepdim=True) # 6. 对查询集打分 feat_q = base_net(query).mean(dim=(-2, -1)) # 形状 [N*Q, D] logits = feat_q @ W.t() # 形状 [N*Q, N] # 7. 交叉熵损失，反向传播 loss = cross_entropy(logits, query_labels) loss.backward() opt.step() return loss这段代码看着简单，但每一步都对应前面讲的某个设计决策。第 4 步的 predictor 就是核心；第 5 步的零均值约束不是可选项，是有理论依据的关键操作；第 3 步取平均对应“类原型”的概念。整个 episode 里查询集的标签只在算损失时出现，支持集只用来生成分类器，两者角色完全正交。
3.5 评估方式与评测陷阱
评测时，要在测试类的集合里随机采样大量 episode，比如 600 个，计算平均准确率和 95% 置信区间。测试时唯一的变化是去掉了基类预训练阶段常用的 augment 操作，模型权重全部固定，不再有任何梯度更新。评估协议是否严谨直接决定了结果能不能发文章：采样 seed、episode 数量、支持集和查询集的划分都要固定并记录，否则不同 run 之间的差异会盖过方法本身的差异。
我提个容易被坑的点：测试时的 n-way 可以跟训练不一致。如果训练用 5-way，测试硬改成 20-way，由于参数预测是逐类的，网络结构上没问题，但准确率会掉，因为任务难度变了。对比论文结果时，必须确认用的是同一套 way-shot 设置。
4. 复现过程中的常见问题与排查技巧
4.1 训练不收敛，loss 来回震荡
这个问题在参数预测类方法里尤其常见，原因是预测器输出的权重范围很难控制。如果预测出来的 w_k 数值特别大，查询特征和权重一内积，logits 就会暴涨，softmax 直接饱和，梯度变成零，模型怎么训都原地踏步。解决办法有两个思路：第一，给预测器输出做逐行归一化，让每个类的权重模长被限制住；第二，在 logits 上乘一个可学习的缩放因子，相当于学一个温度系数。我一开始没加这些，训练 loss 一直下不去，后来在 logits 上加了一个初始值很小的缩放，问题立刻缓解。
另一个稳定性的来源是初始化。预测器的最后一层参数不要用太大的标准差初始化，否则第一轮生成的分类器权重分布就会离合理范围太远。复现时优先用小的随机初始化，配合 BN 或 LayerNorm，训练过程会平滑很多。
4.2 性能退化成“原型网络”，甚至还不如原型网络
如果你发现深一点的预测器和单层线性映射效果一模一样，那说明预测器并没有学到比“距离度量”更多的东西。检查方向有两个：一是预测器是否被训练得足够充分，可以把它从残差块换成更宽的结构，或者加大训练 episode 数量；二是零均值约束是否生效，如果没有这个约束，预测器很容易退化成把激活向量缩放一下再原样输出，这等价于余弦相似度分类，表达力有限。
我在调参过程中还有过一个观察：预测器太浅时，最终结果大概率就是原型网络换了个马甲；预测器加深后，尤其在 5-shot 设置下，性能才有肉眼可见的提升。原因是 5-shot 时每个类的激活向量更稳定，映射网络有更多信息可以利用，复杂的映射才能显露出优势。
4.3 训练类别数和新任务类别数不一致
如果你在实现时选择把 N 个类的激活向量拼接成一个超长向量再一起预测所有权重，那么训练时的 N 就必须固定，测试时换一个 way 就会维度对不上。这种“全局拼接”的做法在论文讨论里出现过，但工程上太脆。我更推荐逐类独立预测：每个类走同一个映射函数，N 是多少完全无所谓。另一个常见问题是训练时虽然用了 5-way，但每个批量里不同 episode 的类别组合差异很大，导致预测器震荡。这个可以通过适当增大每个 batch 的 episode 数量来缓解，统计梯度更稳。
4.4 BatchNorm 带来的隐藏陷阱
BatchNorm 在普通分类里是标配，但在少样本任务里处处是坑。第一个坑在前面提过：1-shot 时，base 网络输出的特征其实是“一张图的特征”，逐类取平均只是把单张特征复制了一份，BN 的统计量在这么少的样本上全是噪声。我的建议是骨干网络里如果用了 BN，训练早期先固定住 running stats，或者干脆在 backbone 里换用 GroupNorm。第二个坑更隐蔽：如果训练时 backbone 开着 BN 的 train 模式，那么 query 特征的统计量也会参与更新，测试时 switch 到 eval 模式，特征分布会发生偏移。经验是训练后期把 backbone 的 BN 固定，或者全程用 eval 模式的 BN，让特征提取器保持稳定，只让预测器去适应。
4.5 一条经过验证的复现路径
踩过这些坑之后，我总结出一条适合从零复现这篇论文的路径：第一步，只用一个线性映射作为预测器，目标是把整个流程跑通，先看到 5-way 1-shot 有个不那么离谱的准确率；第二步，加上零均值约束，确认效果有提升；第三步，把单层线性换成残差块结构，逐步加深，每一步记录准确率变化；第四步，调 BN 相关细节，把评估协议的置信区间跑出来。这样每一步都可以验证，出了问题也知道是哪个环节导致的，比一把梭哈到完整结构好得多。
5. 扩展思考：从这篇论文还能延伸出什么
5.1 参数预测的本质是 Hypernetwork 思想
往大了说，这篇论文是超网络（hypernetwork）思想在少样本领域的一次漂亮落地。超网络的概念是训练一个小网络去生成另一个大网络的参数，在生成模型、压缩和动态推理里都有应用。这里预测器生成的是分类头那几层参数，规模不大，但这个思路一旦打开，后续可以做很多事情，比如不只预测分类层，还可以预测骨干网络的部分权重；不只从激活预测，还可以结合任务描述文本、类别语义等多种信息来预测。
这种“用网络生成网络”的路径，在少样本场景里尤其有价值，因为传统梯度更新对样本量极其敏感，而生成式预测天然不依赖测试样本数量，只要训练阶段见过足够多的任务分布，推理时就能快速输出合理的参数。
5.2 可以尝试的改进方向
如果基于这篇论文做改进，我觉得下面几个方向都值得一试。首先是特征层的选择，论文主要用骨干网络最后的池化特征，但不同层级的特征其实对应不同粒度的视觉信息，可以把多层特征拼接起来再送进预测器，增加鲁棒性。其次是支持集信息的利用方式，简单平均会丢掉类内分布的信息，使用注意力机制或者可学习的聚合方式可以缓解这个问题，尤其对 5-shot 场景。第三是和偏置参数的预测结合起来，我上面提过偏置可以置零，但如果有足够的训练数据，把偏置也预测出来通常能再提一点精度。最后是置信度与不确定性估计，预测器输出的权重如果能带上不确定性，对于一个新类只有 1 张样本的情况，系统就可以知道自己的决策有多可靠。
我在实际复现中的体会是，这篇论文最值得学习的不只是那个结构，而是“分类器参数是一个可学习映射的输出”这一思维方式。先想清楚函数关系是什么，再设计网络去拟合这个关系，而不是一上来就套一个相似度度量或者优化套路。另外也提醒一句，少样本实验特别容易因为随机 seed 得出误导性的结论，所有消融都要在同一组 seed 上比较，结论才站得住脚。如果你也想动手复现，我的建议是从最小配置跑起，把每一步的预期结果都想清楚，再逐步加复杂度，这条路走下来会比直接抄完整网络收获多得多。
