最近在整理零样本分类相关工作的时候，翻到一篇很有意思的投稿，标题长这样："Support Vector Generation: Kernelizing Zero-Shot Classifiers from Pre-Trained Language Models"。单看题目有几个关键词值得琢磨：support vector（支持向量）、kernelizing（核化）、zero-shot classifiers（零样本分类器）、pre-trained language models（预训练语言模型）。这四条线索凑在一起，指向的其实是一个很经典的追问——能不能把"文本描述类别+图像特征相似度匹配"的零样本分类流程，改造成一套有几何间隔、有支持向量、有核函数支撑的判别式分类器。
这篇文章我反复读了几遍，又自己动手做了些模块级的复现实验，有收获也有踩坑。这篇博文就围绕这个方法展开：先讲清楚它要解决什么痛点，再拆解核心原理和数学形式，然后把我实际复现过程中遇到的关键细节、超参选择、计算代价和失败模式逐一记录下来。如果你也在做视觉-语言模型的零样本分类、分布外泛化或者可解释分类决策，这篇文章应该能提供一些不一样的角度。
1. 零样本分类器的"木桶效应"：相似度打分到底差在哪
1.1 相似度打分范式的经典操作
过去几年，主流的零样本分类基本都长一个样：拿一个在大规模图文对上训练出来的双塔模型，一个塔编码图像，一个塔编码文本；分类时把类别名称或提示模板送入文本编码器得到类别嵌入，把待分类图像送入图像编码器得到视觉特征，然后计算两者之间的余弦相似度或点积，最后在类别维度上做softmax，谁分数高就归谁。
这套流程最大的好处是简单，不需要额外的分类头，也不需要微调，prompt改一改就能换任务。但在实际使用中，它有几个很让人头疼的特征：
第一，softmax的标定质量很差。零样本分类的置信度经常虚高，模型对分布外的图像也能给出"高度自信"的错误分类。很多时候我们想要的是"这不像我知道的任何一类"，但相似度打分给不出这种信号。
第二，每个类别只有一个文本原型。真实世界的类别内部往往有巨大的形态差异，"鸟"是一个类，但啄木鸟和企鹅的视觉特征相距甚远；用单一文本嵌入去代表整个类别分布，遇到语义子类分布散开的场景时，决策边界会非常糙。
第三，线性决策面几乎不可调。点积相似度加softmax，几何上等价于用一组经过原点的线性超平面做分类，边界形状完全由文本特征的方向决定，训练阶段没有任何机制去"推"这些边界，让它们更适合具体的视觉特征分布。
这三个问题单独看都还能忍，叠在一起就构成了零样本分类的"木桶效应"：方法的上限被相似度打分这个环节锁死了。
1.2 为什么"生成支持向量"是个新思路
这篇文章给出的解法不是去优化相似度打分本身，而是换一个坐标系去想问题：如果我把每个类别的文本嵌入当成一组"初始原型"，然后从这组原型出发，生成一个类别的支持向量集合，再把这些支持向量作为核化分类器的锚点，会怎么样？
这等于把任务从"检索式匹配"改写成"判别式分类"。支持向量这个概念在传统机器学习里很明确——它们是距离决策边界最近的训练样本，决定了分类器的间隔结构。这里做了一件很特别的事：并不是从数据里选支持向量，而是让模型根据类别语义主动合成支持向量，所以叫 support vectorgeneration，而不是 support vector selection。
这个方法的意义在于，它把核化的几何灵活性引入了零样本分类。类别决策不再是一个单向量方向上的余弦打分，而是一组支持向量在特征空间中张成的一个局部判别结构。每个支持向量可以代表类别的一个语义子区域，多个支持向量聚在一起，就能逼近任意形状的类别分布。
从这个角度说，核化不是技术噱头，而是为了解决真实视觉特征分布中"类别不是单峰高斯"这件事。
2. 支持向量生成：合成的是原型，还是可分性？
2.1 从类别文本到初始候选
先聊生成的对象。假设总共有 C 个类别，每个类别对应一条规范文本描述，比如"A photo of a [类别名]"。预训练语言模型的文本编码器把这些描述映射到一个共享嵌入空间，得到初始嵌入向量，每个类别一个。
第一步通常是做文本增强。实践里常见做法是把一条描述扩展成多条模板描述（换措辞、加属性、补充语境），然后对它们取平均或拼接后投影。这样得到的初始嵌入比单条描述更稳，但本质上仍然是"一个类别一个点"。
到了这一步，支持向量生成模块开始介入。它的目标是为每个类别输出一组支持向量，记作 S_c = {s_{c,1}, ..., s_{c,M}}，M 表示该类别的支持向量数量。生成过程可以是一个可学习的小模块，输入类别文本嵌入和一组可学习的类别共享基向量，输出在嵌入空间里的 M 个偏移量；也可以直接由一个轻量生成网络预测。
2.2 生成出的支持向量要满足什么条件
支持向量不是随便偏移几个方向就完事的。为了让核化分类器真正有效，生成模块输出的支持向量集合必须满足几个隐式约束：
- 判别性：不同类别生成的支持向量在特征空间中要尽量相互远离，否则决策边界模糊，核化反而会放大噪声。
- 多样性：同一类别内部的支持向量要能覆盖该类别的不同语义子区域，比如"鸟"这一类里要分别覆盖飞行姿态、栖枝姿态、水鸟形态等子模式。
- 紧致性：支持向量不能发散到离类别文本嵌入太远的地方，否则会侵入其他类别的语义区域。
这些约束本质上是在说：生成模块不只是做一个"原型扩充"，而是在隐含地做类别分布建模，在可分的判别结构和语义合理的多样性之间做权衡。
我在理解这个方法时喜欢用一个类比：单个文本嵌入像是旅行社给的一页景点介绍，覆盖不了整个景区；支持向量生成则像是让一个去过很多次的本地向导，在景区里标出几个最值得去的具体观景台。观景台不能太多太密，也不能标到别的景区去。
2.3 和传统SVM中的支持向量的区别
这里值得多说一句，避免概念混淆。经典SVM里面的支持向量是训练样本中真实存在的点，它们构成凸优化问题里对间隔有约束的那些样本，数量由优化过程自然决定；支持向量机的名字里"支持向量"是数据的选择结果。
而这里的方法，支持向量是合成的、由生成模块主动构造的向量，它不一定对应任何真实训练图像。从数学角色上看，它们和经典SVM的支持向量承担类似的功能——作为核函数展开的锚点，共同决定分类边界；从形成方式来看，则是完全不同的路径。
这个区别很重要，因为它直接影响了可解释性：经典SVM里你看支持向量就知道"哪些样本撑起了边界"，但这种合成方法里，你得把支持向量投影回输入空间或者用最近邻的真实图像去描述它，才能知道模型在关注什么。这也是后续做可视化验证时的一大工程点。
3. 核化分类器：几何视角和决策规则的落地
3.1 决策函数怎么定义
核化的核心是把原先的点积相似度替换成核函数 K(·,·)，从而在高维特征空间中隐式地获得非线性判别能力。在这个方法里，对输入图像特征 x，第 c 类的得分可以写成：
score_c(x) = Σ_{i=1}^{M} α_{c,i} · K(s_{c,i}, x) + b_c
这里的 α_{c,i} 是支持向量对应的权重，可以理解成每个支持向量对最终得分的影响强度；b_c 是偏置。权重可以由优化过程学习，也可以简单设成等权重、只在类别间共享一套归一化。
核函数的选择通常有两条路。线性核 K(s, x) = s·x 在数学上等价于把多个支持向量做了加权组合，整体还是一个线性打分，只是比单原型多了一些自由度。高斯RBF核 K(s, x) = exp(-||s - x||^2 / (2σ²))在零样本场景里更常见，因为视觉特征空间本来就近似分布在超球面上，RBF核能更好地刻画局部邻域关系，本质上是一种基于距离的相似度度量。
把 RBF 核展开来看，它等价于先对特征做非线性映射，再在映射空间里做内积。支持向量决定的是这个映射空间里的"区域中心"，哪类支持向量距离输入更近、权重更大，该类的得分就越高。
3.2 从得分到置信度：两种校准路线
核化输出的得分并不能直接当概率用，后面还要接一个校准环节。常见做法有两种：
一种是套用softmax温度缩放：把每个类别的核化得分堆起来，再除以一个温度系数 T，然后做softmax。温度系数可以基于下游任务的小规模验证集调优。这个方法实现简单，但需要注意 T 的选择对性能影响很敏感，尤其当 RBF 核的输出范围本身已经受 σ 影响时，T 和 σ 之间存在耦合效应，需要一起调。
另一种做法是直接比较各类别得分，用得分差值的 softmax 形式做相对置信度，不做绝对概率校准。这会牺牲概率意义的可解释性，但分类精度往往更稳，因为核化得分本身不具备跨类可比性。
我在复现时更推荐第二种，因为零样本场景下没有足够的验证数据去可靠地标定温度系数。调一个不可靠的温度系数，比不调更伤。
3.3 核化带来增益的原理猜想
为什么核化能改善零样本分类器的性能？把三个层面拆开看就很清楚：
首先是局部性。余弦相似度是全局打分，类别内的局部子结构被平均掉了；RBF核只关注输入特征附近的局部区域，等于为每个类别建立了多个局部决策中心，类别内的多模态结构得以保留。
其次是决策边界的自由度。单原型加softmax的决策边界是线性的，多个支持向量则允许边界变成分段线性或非线性曲面，这在细粒度分类或者类别间视觉相似度高的任务上优势非常明显。
最后是对特征分布漂移的鲁棒性。支持向量不是从训练数据里来的，而是从语义空间里推出来的，所以它天然保留了对分布外输入的拒识能力——至少理论上如此。实际效果我后面会讲到，这个"理论上"打了折扣。
4. 从论文到复现：特征流、核参数与工程细节
4.1 整体流程分解
复现这套思路时，我把整个流程拆成了四个阶段：特征准备、支持向量生成、核化分类器构建、评估与可视化。下面按阶段给出关键操作和我在实际操作中踩过的坑。
阶段一：特征准备
用预训练图文双塔模型的文本编码器，对每个类别的增强描述做编码，得到初始类别嵌入。增强描述不要只做模板替换，我建议加入类别相关的属性描述和场景描述。比如对"鸟"这个类，除了"A photo of a bird"，还可以加"A bird in flight"、"a small bird perched on a branch"这类补充描述。增强文本的好处不是增加信息量，而是让初始嵌入的方差减小，后续生成支持向量的起点更稳定。
图像侧同样提取视觉特征，用同样的投影方式映射到公共嵌入空间。这里要特别注意，文本和图像两侧的特征必须经过同一个归一化处理，通常都是L2归一化。不归一化会导致RBF核的 σ 完全失去可比性。
阶段二：支持向量生成
我采用了比较轻量的方案：对每个类别先经过一个共享的生成器，生成 M 个偏移向量，叠加到类别初始嵌入上，再做一次L2归一化。生成器可以用一个两层的MLP实现，输入是类别初始嵌入拼接上一组可学习的 M 个基向量，输出是 M 个支持向量。这样的结构简单且容易调试。
关键参数是 M 的取值。太小体现不出多样性，太大则会把支持向量变成一团互相重叠的点，增加计算量却没增益。在视觉特征维度为1024的常见设定下，我试下来 M 在3到8之间比较合适，细粒度任务取大一些，粗粒度任务取小一些。
阶段三：求解/学习 α
这里走两条路线都可以。如果生成器是随机初始化的，那么 α 也需要一起优化，可以用一个小的带标签验证集做监督训练，损失函数是交叉熵。如果没有标签可用，就得退回到无监督/自监督路线：用熵最小化（让分类置信度尽量集中）或者一致性正则（同一图像的随机增强版得分要接近）。我实验中后者更稳健，但收敛速度慢，需要更多轮次。
阶段四：评估
评估时不能只看 top-1 accuracy，还要看置信度校准曲线和分布外识别能力。我的实测是核化分类器在 in-distribution 上的准确率一般持平或略好于相似度基线，真正的差异出现在分布偏移和细粒度子类的场景里。
4.2 那些花了最多时间调的东西
第一是 RBF 核的带宽 σ。这个参数很敏感，我一开始想当然按特征空间的标准差去取，结果分类器几乎退化成最近邻。后来我改用一种更直接的经验方法：随机采样一批图像特征，统计它们与各类别支持向量之间距离的中位数，把 σ 设在距离中位数的0.2到0.5倍之间。这样得到的核函数不会太尖（否则 RBF 的行为接近最近邻，决策面噪声大），也不会太平（否则退化成全局均值打分，多样性起作用很小）。
第二是支持向量的生成约束。如果不做距离约束，生成器倾向于把支持向量推离文本嵌入很远来强行拉开类间距离，短期看准确率上去了，实际泛化能力却一塌糊涂。我建议对偏移向量的范数做显式正则，控制在初始嵌入到同类样本特征平均距离的2倍以内。这个约束在测试集和分布偏移场景里作用非常明显。
第三是类别的顺序效应。生成器是共享的，理论上类别顺序不影响结果，但我在实验里发现，当类别数量非常大时，后处理的类别会累积优化噪声。解决办法是对类别做随机打乱，并在生成时对支持向量做累积归一化（每个类别的支持向量都要做一次整体缩放）。这不是论文里的理论内容，但属于实操中一定会遇到的问题。
4.3 推理开销与缓存策略
核化分类器在推理阶段的额外成本主要是核计算：对于每个输入图像，需要计算它和所有类别所有支持向量之间的核函数值。如果类别为 C，每个类别有 M 个支持向量，图像特征维度为 D，那么一次推理的额外开销约为 C × M 次距离计算（RBF核）或点积计算（线性核）。
在类别数少的时候这完全不是问题，但到了大规模分类场景（比如上千类别），这个开销就需要注意。实际工程上一个很有效的优化是：所有支持向量可以在离线阶段算好并固化，推理时只要对固定矩阵做一次大矩阵乘法。这样核化分类器的推理延迟可以控制到几乎和线性层持平，只是存储量多了一个 C × M × D 的矩阵。
另外要注意的是，支持向量和图像特征的精度处理。用 float16 做主矩阵乘的时候，RBF核的距离计算可能导致精度损失，建议距离计算保持在 float32 下完成，只在最终的得分累加时转回 float16。这个小细节在低算力设备上差别很大。
5. 实验观察：增益来源、边界情况与失败模式
5.1 什么场景下增益最明显
我自己在三个方向做了验证实验：
第一类是细粒度子类任务，比如区分不同品种的鸟类。这类任务的典型特征是类间差异小、类内差异大，单文本原型明显不够用。换成支持向量生成后，每个类别有了多个局部锚点，决策边界能覆盖不同姿态和不同环境下的同一种鸟，top-1准确率提升最明显，大约有3到5个百分点。
第二类是分布偏移场景。我在一个训练集是通用图像、测试集改为特定光照和视角的任务里对比了基线和核化分类器，核化版本的性能衰减幅度明显小于采用softmax相似度的基线。这和核函数的局部性有关：局部锚点对全局分布移动的敏感度更低。
第三类是罕见类别。当某个类别在预训练数据中出现频率较低时，文本嵌入的语义代表性往往偏弱。支持向量生成相当于在文本嵌入周围做了一个受约束的"语义膨胀"，给弱类别多分配了一些可分离的判别单元。这个方向的提升幅度中等，但稳定为正。
5.2 失效模式一：支持向量坍缩
最常遇到的问题就是生成器把所有支持向量都推到了同一个方向上，等于退化成单个原型。发生这种情况时，核化分类器的表现和相似度基线几乎没有差别，甚至更差，因为多了一次徒劳的核计算。判断是否坍缩的方法很简单：计算每个类别支持向量之间的平均余弦相似度，如果超过0.95，基本就坍缩了。
缓解手段是训练时显式加入多样性正则，比如让同类支持向量两两之间的余弦相似度不要超过某个阈值。梯度上可以直接对相似度项做惩罚，实现不复杂。
5.3 失效模式二：提示敏感性被放大
文本提示写得好不好对传统零样本分类已经有影响，在支持向量生成方法里这个影响会被放大。原因在于支持向量是基于文本嵌入生成的，如果文本嵌入本身质量差，生成器相当于在一个坏起点上做了有偏扩散，结果比基线更糟。
我在实验里发现，对于同一类别，换成描述更详细的提示模板后，支持向量的分布方向会发生明显移动。这说明生成器并没有学到"s, 要锚定在语义合理区域内"，而是学会了在给定起点附近做局部探索。这既是方法的灵活之处，也是它的脆弱之处。要缓解这一点，需要在训练数据里混入多种提示模板的变体，让生成器对提示措辞不那么敏感。
5.4 边界情况：类别数量爆炸时该放弃核化
当类别数超过几千甚至上万时，核化分类器的优势会逐渐被工程成本抵消。一方面，C × M 个支持向量的存储开始变大；另一方面，生成器的容量跟不上类别数量的增长，易出现支持向量重叠。我在大规模类别上做过一轮压力测试，当类别数超过5000时，核化方案和线性相似度基线的差距缩小到几乎可以忽略，而推理耗时却翻了一倍。
这种情况下我不会推荐硬上核化，更合理的做法是把支持向量生成当成"类别嵌入的后处理增强"，用降维或聚类的方式把类别先分群，再在群内做核化。这也是我认为这个方法后续最值得扩展的方向之一。
6. 我自己的实操体会与下一步尝试
整套方法复现下来，我的体会是：支持向量生成给零样本分类带来的不是单纯的准确率提升，而是一种更灵活的决策结构。它把"类别是一个点"这个强假设放宽成"类别是一组锚点"，这种放宽在细粒度和大类内方差场景里非常值钱。
实操上最值得注意的仍然是控制生成模块的约束强度。多样性正则和距离正则之间的平衡，决定了这个方法到底是"分类器的增强"还是"又一个过拟合手段"。我在实验里花了大半时间都在调这两个正则系数，最后得到一个经验范围：多样性惩罚系数在0.1到0.5之间，距离惩罚在0.5到1.5之间（在L2归一化空间里）。当然不同特征空间和不同任务会变，但这个范围可以作为初始搜索的参考。
下一步我自己想尝试的方向有两个。一是把支持向量生成和测试时自适应结合起来，在推理阶段根据一批无标注数据微调生成器和α权重，让锚点往真实数据分布方向挪动；二是在多模态检索里用同样的思路，语义检索的查询端也可以做支持向量化，而不只是分类端。这个方向的坑还没探完，等有结论了再来分享。
