1. 为什么多模态主动学习比想象中难
做多模态数据的人应该都有体会，标注成本不是线性涨，而是指数级涨。单模态标一张图、一句文本或者几秒音频，成本还可以估算；一旦要求三个模态对齐到同一个语义标签，事情就变得复杂。比如一个视频片段，画面里出现一只猫，语音里提到“猫”，文本描述里也写了“猫”，标注员必须同时确认三路信息都指向同一个实体，才算有效标注。任何一个模态标偏了，这个样本进入训练集后，不是在帮模型，而是在坑模型。
这些天我在整理刚完成的一篇工作，标题是“Label What Matters: Modality-Balanced and Difficulty-Aware Multimodal Active Learning”，计划的落点是CVPR 2026。标题很长，但把三个关键词拆开之后并不复杂：多模态主动学习、模态平衡、难度感知。它解决的问题很直接——用尽量少的标注样本，把多模态模型的性能拉到和全量标注差不多的水平，同时保证选出来的样本不是靠着某个强模态“一锤定音”，而是真的值得人去标。
这篇内容适合三类读者：一类是把主动学习当作数据管线一部分的算法工程师，想参考一个能落地的采样方案；一类是准备做多模态相关研究的同学，想找一个“怎么把两个改进点揉进同一个框架”的完整案例；还有一类是项目负责人，想估算一下采用主动学习之后标注预算能省多少、风险在哪里。我会把方法论、实验设置、实现细节和踩坑过程都摊开来讲，尽量让每个点都能直接放到自己的流程里验证。
1.1 标题拆解：一句话里的三个关键词
“Label What Matters”这句话其实是全文的主张：你要标注的，不是“看起来难”的样本，也不是“模型当前搞不定”的样本，而是那些在模态之间真正有信息增量、能同时推动多个模态表征对齐的样本。传统主动学习里，采样策略通常只盯一个指标，比如预测熵、置信度、边缘距离，这些做法在单模态任务里已经有很多验证。到了多模态阶段，问题变成了“模型对样本的不确定性到底来自哪个模态”。
“Modality-Balanced”对应的是采样时的模态均衡问题。多模态模型天然会被强模态带走，比如图像分类任务中图像特征往往比文本特征更有区分度，模型整体预测被图像主导。这时候如果只用总不确定性采样，选出来的样本大概率是“图像很难但文本很简单”的那类，标注之后对文本分支几乎没有任何帮助。模态平衡的关键，是在评分阶段引入“这个样本有多需要多个模态共同参与”的信号，让图像、文本、音频各自的短板都有机会被暴露。
“Difficulty-Aware”则是对“难度”这个词的重新定义。不少主动学习工作把“难度”等同于高熵或低置信度，但高难度样本里混杂着噪声样本、标注错误样本和真正有价值的困难样本。如果模型对这些样本的预测始终不稳定，它们很可能不是难，而是脏。这项工作把难度拆成了“学习动态相关的难度”，用模型在训练过程中的表现变化来判断一个样本是“值得挑战的难”还是“单纯让人困惑的难”，这个视角很关键。
1.2 标数据不只是贵，而是会标错方向
很多人觉得主动学习就是“少标一点数据，省点预算”，这话只对了一半。主动学习的收益不只来自“少标”，更来自“标得准”。如果采样策略有问题，你每轮多标的几百个样本可能都贴着已有数据分布，模型性能停在原地，预算等于白花。多模态场景把这个问题放大了好几个量级。
原因在于多模态数据的标注不只是“分类”或“打框”，还包含模态对齐。比如一条包含图像和语音的样本，你要先判断两个模态表达的是不是同一个语义，再决定标什么标签。这个过程天然比单模态贵，而且不同模态的标注成本差异很大：一张图的目标框标注可能只要几秒钟，一段语音的转写加语义标签可能要几分钟。如果主动学习策略不感知模态，几轮下来预算就被单一模态消耗掉了。
另一个容易被忽视的问题是“标注方向”。传统主动学习假设所有标注都能提升模型，但多模态模型对样本的需求并不平均。假设一个样本图像部分很容易识别，文本部分却存在歧义，模型在融合后表现出高不确定性。如果你把这个样本选给标注员，标注员可能会先修正文本部分的歧义，但图像部分已经占据决策主导，模型对文本信号的依赖并没有增加。采样策略如果不显式地做模态贡献分析，标注数据就会大量落在“模型已经会了的模态”上，整体效果自然不理想。
1.3 这篇工作的定位和适合谁看
从研究定位看，这项工作的输入设定是：模型和所有未标注数据都已具备多模态特征，标注预算有限，需要每轮挑选一小批样本标注后重新训练。它不要求额外的领域知识，也不假设数据完美无缺，甚至考虑了部分模态缺失的情况。相比目前不少主动学习工作停留在单模态或者人工合成数据，这个设定更接近真实业务。
适合看的人，第一类是正在做数据中台或者算法平台的工程师。如果你手里有多模态样本池，但标注人力只够覆盖其中一小部分，那么这篇工作可以直接给你一个采样框架：训练代理模型、算模态贡献、算样本难度、联合排序、批量去重。每一环都有对应的可落地细节。
第二类是准备进入主动学习方向的研究同学。这篇工作最值得参考的不是某个数学公式，而是“把两个看似独立的改进点放进同一个评分框架”的推导过程。模态平衡和难度感知听起来像两个方向，但最终都落到了“给未标注样本算一个分数”这件事上，这个抽象过程本身就是很好的研究训练。
第三类是做项目的技术负责人。你可能不需要亲自写采样代码，但需要判断主动学习这个方案到底值不值得投入。看这篇工作的消融实验和预算对比，能直观感受到收益边界在哪里：低预算阶段提升明显，预算充足之后会和随机采样拉不开差距。这个认知能帮你避免被各种花哨采样方法忽悠。
2. 两个核心创新点：模态平衡与难度感知
这项工作的方法部分并不复杂，主线就是围绕两个关键词展开。我先把它们单独讲清楚，再讲如何统一到同一个评分函数里。这两个点单独拎出来都有人做过，但组合起来并给出清晰的多模态场景定义，才是这篇工作的价值所在。
2.1 模态平衡：防止“一科带飞全班”的采样陷阱
模态不平衡的问题，用一个学生评奖的例子来类比最合适。班里张榜评三好学生，不能只看数学成绩，否则李四数学满分但语文不及格照样被评上，这显然不合理。多模态模型里的情况更隐蔽：模型内部有两个“学生”在合作，图像这个学生成绩一直很好，文本这个学生还在及格线挣扎。融合之后模型整体表现的波动，绝大多数来自图像这个学生的波动，文本学生的错误被“平均”掉了。
如果主动学习采样只盯着融合模型的输出，挑选那些整体预测混乱的样本，往往会选到“图像学生发挥失常、文本学生正常作答”的情况。标完之后，模型把图像学生再训一训就恢复了，文本学生还在原地踏步。模态平衡要解决的就是这件事：在挑选样本时，主动去关注那些多个学生意见不一致的样本。
在实现上，模态平衡的信号可以用“模态间分歧度”来近似。对于一个未标注样本x，先用各模态的单模态分支分别给出预测概率分布，再计算这些分布之间的差异。差异越大，说明不同模态对同一个样本的理解越不一致，这种样本通常处于模态能力的交界处，正好是训练多模态对齐最有价值的区域。
2.2 难度感知：难样本不等于好样本
主动学习研究者很早就发现，单纯追求“难”会翻车。如果你定义一个样本很难，是因为模型置信度低，那么会选到一堆图像噪声、标注错误、背景杂乱的样本。这些样本不是有信息量，它们只是让人学不会。难度感知的核心，是找出“模型付出了努力但还没学会”的样本，而不是“模型压根学不懂”的样本。
怎么区分这两类？我觉得最直觉的做法是看“学习曲线”。如果模型在好几轮训练中对同一个样本的预测都在摇摆，说明这个样本和模型当前的能力差距很大，这个难度很可能来自噪声或分布外数据。反过来，如果样本一开始让模型困惑，但随着训练进行预测逐渐稳定，说明它正在推动模型学习，这种样本才是主动学习该去标注的。
具体计算时，不需要为每个样本单独维护一条学习曲线。常见方案是用最近几个epoch的checkpoint对未标注池做预测，统计预测标签的变化频率。变化频率低说明模型已经“消化”了这个样本，变化频率高且一直高说明样本本身可疑。把熵、置信度和这个变化频率结合，就能得到一个比单纯难度更稳的指标。后面实验里，我把“学习动态难度”这块单独做了消融，它的贡献比预想的大。
2.3 统一评分公式与整体设计思路
把两个目标放进同一个框架，最直接的方式是线性加权：
Score(x) = λ * Balance(x) + (1 - λ) * Difficulty(x)
其中Balance(x)代表模态平衡分数，Difficulty(x)代表难度感知分数。λ在0到1之间，默认取0.5到0.6之间。这个形式看起来简单，但后面所有实验都证明它够用，而且非常好调。
为什么不用更复杂的非线性组合？因为我试过几种门控组合，发现在中等规模数据上，复杂度上升带来的收益远小于超参敏感性带来的麻烦。线性加权至少有两个好处：第一，你可以单独看两个分数分布的百分位，直观判断某批样本是在靠模态平衡取胜还是靠难度取胜；第二，λ的退火策略很好写，比如冷启动阶段加大难度项权重，后期逐步把平衡项权重提上来。
整体设计思路是一个四步循环：训练代理模型，计算每个未标注样本的模态平衡分数和难度分数，加权合并得到最终分，再经过批次多样性约束挑出一批样本。这个循环每轮执行一次，直到标注预算耗尽。听起来不复杂，但每一环节都有值得展开的细节，下面一章我会把各模块的具体实现讲透。
3. 方法框架拆解：从代理模型到采样决策
主动学习框架在工程上就是“每轮训练、推理、排序、采样”的闭环。很多文章把方法写得天花乱坠，但落到代码其实都可以抽象成几个计算模块。我按我实际搭建的顺序来讲，方便你直接复现。
3.1 整体流程：四步循环
我习惯把一轮主动学习分成五个子步骤，每一步都有明确的输入输出。
- 训练代理模型：用当前有标签集合训练一个多模态分类模型，训练若干epoch，存下最近几个checkpoint。
- 提取模态级预测：对未标注池中的每个样本，分别用图像分支、文本分支、音频分支和融合模型输出预测概率。
- 计算模态平衡分数：基于模态间预测分布的分歧度，得到Balance(x)。
- 计算难度分数：用多checkpoint的预测变化频率和熵，综合得到Difficulty(x)。
- 联合排序并采样：把两种分数标准化到同一量纲，线性加权，再带上多样性约束，挑出本轮的k个样本交给标注员。
第1步和第5步之间有个容易被忽略的细节：代理模型在标注很少时会自己不停震荡。如果你只取一个模型checkpoint去算分数，噪声会非常大。我后来改成最近3个checkpoint平均预测，稳定性明显提升。这个改动成本极低，但很多文章不会写，属于典型“纸上得来终觉浅”的部分。
3.2 模态贡献估计：两个可落地的实现
模态平衡分数的核心是“量化一个样本对多模态协作的需求程度”。我试过两种方案，都有效，只是适用场景不同。
方案A是模态dropout对比。训练阶段随机屏蔽部分模态输入，让每个单模态分支都见过“只有自己”的情况。推理时，对一个样本分别计算“全模态输入”的预测分布和“只保留第m个模态”的预测分布，两者差异越大，说明这个样本对模态m的信息依赖越强。把所有模态的依赖强度做方差，方差越大说明模态间贡献越不均衡，这个样本越值得关注。
方案B是预测分布分歧度，更适合特征已经预提取好的场景。不重新训练模态dropout模型，只用单模态分支各自分类，计算图像、文本、音频三个预测分布之间的平均KL散度或者L1距离。这个方案实现最简单，因为只需要把代理模型拆成三个单模态分类头，推理一次就能拿到分布。
我最终在正式实验里用的是方案B的变体。原因是我的代理模型本身在每个模态分支后面已经接了独立的分类头，预测分歧不需要额外训练，计算成本可以接受。具体公式可以写成：
Balance(x) = mean_{i,j} KL(p_i(x) || p_j(x))
其中i,j遍历所有模态。这个值越大，说明多个模态对这个样本的理解越不一致，采样优先级越高。
3.3 样本难度估计：不是只有熵一条路
难度分数的第一反应是用预测熵，熵越高代表模型越不确定。这确实是一个有效信号，但直接拿来用会踩一个已知的坑：模型校准不好，高熵样本里混着大量难但没用的样本。
我加了一个“学习动态”信号：让代理模型在最近几轮中保留多个checkpoint，对每个未标注样本，统计这些checkpoint预测标签的变化次数。如果一个样本的预测标签在最近3个checkpoint之间反复横跳，说明模型对它的判断不稳定。如果这种不稳定伴随高熵，那它很可能是噪声；如果熵高但预测标签逐渐收敛，那它是值得标的难样本。
组合出来是这样：
Difficulty(x) = α * entropy(p_fusion(x)) + (1 - α) * instability(x)
其中instability是预测变化次数和预测分布方差按T轮平均得到的值。这个定义的好处是，它把“难度”从静态指标升级成了动态指标。实验里，我对比过只用熵和“熵+学习动态”两种设置，后者在低预算区间能多提升约1.5个点的准确率，而且选出的样本被人工复核时质量更高。
3.4 联合评分与批次多样性约束
前面算出的平衡分数和难度分数量纲不同，需要用百分位归一化统一到0到1之间，否则加权没有意义。我之前吃过这个亏：难度分数天然分布在0到2之间，平衡分数波动在0.01到0.2之间，直接加权后难度项完全主导。百分位归一化之后，两者才真正开始互相配合。
批次多样性约束放在联合评分之后。很多主动学习方法只看单个样本得分，忽略批内冗余。举个例子，未标注池里如果有1000张都是同一个物品在不同背景下的照片，它们可能都有超高的模态分歧度，但标20张和标50张提供的信息几乎一样，剩下30张标注预算浪费了。
我的做法是在得到评分排序后，用一个轻量级的贪心去重：维护一个已选样本的特征中心，每次从未选中样本里挑得分最高的候选，计算它与已选特征中心的余弦相似度，超过阈值直接跳过。相似度阈值我默认设0.3，比较激进，适合类别少的任务；类别多时可以调到0.1。这一步不改变单个样本的排序哲学，只负责让批次更均衡。
4. 实验设计与结果复盘
方法好不好，不能只靠讲故事。这节我把实验设置和结果复盘完整写出来，包括我怎么构造数据、对比哪些方法、数据说明什么。你可以照着这个流程在自己的数据上重新跑一遍。
4.1 实验配置：我用什么数据验证
多模态主动学习没有特别统一的标准benchmark，很多工作都在单模态数据集上硬凑多模态。为了避免这个问题，我构造了一个模拟多模态样本池MMSet，包含五万条样本，每条样本同时具备三个模态分支：图像区域特征、短文本描述、音频频谱特征。标签是八个语义类别，类别分布偏不均衡，最大的类占比约22%，最小的类占比约6%。
代理模型用三路编码器分别提取特征，融合后过两层MLP分类器。模型规模不大，约两千万参数量，主要是为了让一轮训练在单卡上跑得动。初始有标签样本1000条，每轮采样200条，一共跑10轮，最终标注4000条。对比设置包括随机采样、标准熵不确定性采样、多样性聚类采样，以及我们的完整方法。
这里有一个经验：主动学习实验有个陷阱，训练轮数太少、代理模型欠拟合时，采样策略好坏根本看不出来。我每轮都把代理模型训练到验证集准确率收敛，大约40个epoch，而不是固定轮数。这个调整让实验结果稳定很多。
4.2 不同标注预算下的对比结果
下表是标注预算从2000到4000条时，各方法在MMSet测试集上的分类准确率。所有数字取三次独立运行的平均值，波动范围在0.3到0.5个点内。
| 方法 | 预算2000 | 预算3000 | 预算4000 |
|---|---|---|---|
| 随机采样 | 61.2 | 67.5 | 72.3 |
| 熵不确定性采样 | 63.4 | 68.7 | 73.0 |
| 多样性聚类采样 | 62.8 | 68.2 | 72.8 |
| 统一评分方法 | 66.9 | 71.8 | 74.6 |
可以看到低预算区间优势最明显。预算2000时，统一评分比随机采样高出5.7个点；到预算4000时，差距缩小到2.3个点。这个趋势符合主动学习的直觉：数据越稀缺，采样策略的价值越重要；预算够多以后，随便采都能覆盖到主要分布。
4.3 消融实验：平衡项和难度项各自的贡献
消融实验比完整对比更有参考价值，因为它帮你判断“钱花在哪个功能上”。我把完整方法拆成三档：只保留模态平衡项、只保留难度感知项、两者都保留。结果如下。
| 设置 | 预算2000 | 预算3000 |
|---|---|---|
| 随机采样 | 61.2 | 67.5 |
| 只保留模态平衡 | 65.1 | 69.9 |
| 只保留难度感知 | 64.5 | 69.4 |
| 两者组合 | 66.9 | 71.8 |
模态平衡在低预算阶段单独贡献约3.9个点，难度感知单独贡献约3.3个点，两者组合后没有明显冲突，还能再叠加1个点左右。这说明两个信号确实在从不同维度解释“值得标注”这个概念。另一个发现是，当我把λ取0.5时组合效果略低于λ取0.6；λ取0.6意味着略微偏向模态平衡，这在多模态场景里是合理的，因为模态不平衡问题往往比单样本难度更难被人工发现。
5. 落地跑通后，我踩过的四个坑
方法在干净实验环境里效果不错，但真正放到业务数据上跑，问题一个接一个。这一节我按踩坑时间顺序来写，每个坑都有现象、原理和解决办法。
5.1 模态缺失：真实数据里经常缺一路模态
第一个坑来得很快。MMSet是完整三模态，但业务数据里有相当比例样本只有图像和文本，音频特征缺失。代理模型一旦遇到缺失模态，向量拼接维度对不上，直接崩。如果你只把缺失模态样本丢掉，又会破坏采样分布，让主动学习失去意义。
我的解决办法是把模态缺失当成一种mask而不是丢弃。在编码器输出后做特征级mask，缺失的模态分支用全零向量填充，同时在融合层前加一个模态存在度向量。这样模型学到的不是“所有样本都有三模态”，而是“每个样本的模态配置可以不同”。模态贡献评分模块也要同步处理：缺哪个模态，就不参与分歧度计算，只对存在的模态求KL散度。这个改动不大，但让方法从实验室直接跨进了可落地门槛。
5.2 难度自证偏差：越选越窄的死循环
第二个坑比较隐蔽。主动学习每轮选出的样本都来自当前代理模型认为“困难”的区域，下轮模型再在这些区域训练，自然容易把不困难的其他区域遗忘。随着轮次增加，采样范围越来越窄，最后集中在某几个小区域里打转。这就是所谓的难度自证偏差。
原因是难度分数和模型状态强相关。模型刚训练出来，对某类样本信心低，这些样本被大量选中；训练几轮后模型对它们信心提高，但评分模块用的还是新模型，于是它又觉得另一片区域难。整个系统一直在追自己的尾巴。
最有效的缓解方法是基于动态信息而不是静态预测。我前面说的多checkpoint预测变化频率，天然会抵消一部分自证偏差，因为变化频率衡量的不是“当前难不难”，而是“训练过程中稳不稳定”。如果你只用单model的熵做难度，这个问题会非常严重。后面我把难度项中的熵权重从0.5降到0.3，动态分数权重大幅提高，采样曲线就平滑很多。
5.3 批次内冗余：高分样本挤在一起
第三个坑出现在我调大每轮采样数量的时候。每轮从200改成500，按评分排序取前500，结果模型性能不仅没涨，反而比每轮200略低。查了选出的样本分布，发现top500里有大量互相相似的样本。
原因很好理解：未标注池中相似样本会共享相似的模态分歧度和难度分数，排名会挨在一起。如果你不主动把“整体多样性”纳入采样，batchlarger反而让模型被同类样本刷屏。我加了嵌入式向量的余弦相似度去重后，性能立刻恢复到正常水平。
这里有个实现细节：高维特征向量算余弦相似度其实非常不稳定，维度上千之后距离全都挤到0.9附近，阈值没法设。我先把特征用简单PCA压到64维，再算相似度，区分度一下就出来了。这种小问题不做一次根本想不到。
5.4 冷启动阶段：代理模型还没长大怎么办
最后一个坑是冷启动。第一轮只有1000条标注样本，代理模型在很多类别上基本是在猜。此时如果你完全依赖模态平衡和难度感知，选出来的样本很可能非常偏，因为模型对“什么样本有信息量”的判断本身不可靠。
我的处理办法是动态退火。前两轮把λ调低至0.3，也就是让难度项主导；第三轮开始再把λ升到0.6，让模态平衡接管。更进一步，前两轮可以混入30%的随机采样，防止模型在错误的判断里越陷越深。代价是前两轮采样质量没那么高，但换来的是后续模型评分更稳定。
这个细节很值得注意。我看过不少主动学习论文里对冷启动只字不提，但真实项目中冷启动阶段往往决定了整个采样曲线最终能走多远。直接生搬硬套最终超参，第一轮就会把系统带偏。
6. 从一个模块到一套数据效率方案
主动学习不值得被当成一个孤立模块，它应该和半监督、预训练模型、数据去重一起搭配，才能发挥最大作用。我最后写一点扩展思路和实际建议。
6.1 与半监督学习结合，标注预算再降一个量级
主动学习每轮选出的高置信样本，虽然不够格交给标注员，但完全可以用作伪标签。我在MMSet上用统一评分方法选样本，同时给未标注池中低难度高置信度的样本生成软标签加入训练数据，标注预算从4%降到2.5%，准确率甚至还高了一点。
原理不难理解：主动学习负责“挑值得标注的难题”，半监督学习负责“利用模型已经会但未标注的简单题”。两者互补性很强。如果你手头已经有半监督训练管线，直接把主动学习采样出来的“高置信批次”用伪标签模式送进去就行，不需要重写训练逻辑。
6.2 面向大模型时代：用预训练特征降低代理模型方差
主动学习依赖代理模型，代理模型越不稳定，采样策略越不可靠。在大模型时代，一个很好用的做法是：把大模型当作固定特征提取器，不参与主动学习循环的参数更新。每个样本只算一次特征，后续代理模型只在特征层上训练轻量分类头，更新成本极低，而且特征空间稳定，模态分歧度计算也更有意义。
我试过在MMSet上把图像和文本分支的特征替换成某个大模型产出的embedding，代理模型参数从两千万降到几十万，训练时间减少90%，采样结果基本没掉。这个组合很适合资源有限的团队，相当于用一次预计算换来了整个主动学习流程的稳定性和低延迟。
6.3 后续可扩展的方向和我的个人建议
再往下做，可以走几个方向：流式数据中的主动学习，样本不断到达，采样需要考虑时间衰减；多标注者场景里标注质量不一，选样本时还要估计标注者的能力；多任务主动学习里，同一个样本可能服务多个任务，评分函数要聚合多任务收益。
如果让我给一个最简版的实施建议，就一句话：不要在平衡项和难度项之间找复杂函数，先跑λ等于0.6的线性加权，再调批次多样性阈值，大多数场景够用。主动学习项目里真正的收益来自把循环流程跑顺，让每一轮模型评分都在改善，而不是把某个公式设计出花来。
最后分享一个我个人的判断标准：当一个主动学习方案需要解释超过三分钟才能让人听懂时，它大概率无法稳定落地。这套以模态平衡和难度感知为核心的方案，核心逻辑用一句话就能讲完——标注那些模型需要多个模态共同协作才能搞明白的样本。这句话本身，就是Label What Matters最直白的注脚。
