如果你和我一样，是那种“正文看完感觉全会、代码一写全废”的复现党，那PrDiMP的附录应该够你喝一壶。这篇CVPR 2020的目标跟踪工作在正文里把概率回归讲得像喝水一样自然，可真到自己动手，把KL散度换成自己的损失函数，把softmax归一化接到自己的特征图上，才发现每一处细节都被压缩进了附录。这篇笔记就是冲着附录来的：我会按复现顺序把附录拆成“推导—优化—训练—消融—踩坑”五个层面，把那些读论文时不经过脑子、写代码时绕不过去的环节逐一过一遍。适合想在自己的跟踪框架里引入概率回归思路，或者正准备完整复现这篇工作的读者。
1. 附录的结构：它不是正文的垃圾箱，而是一份实现说明书
1.1 正文到底压缩了什么
论文正文受篇幅限制，主线一般只讲清楚“为什么这样做”和“最后的效果”，而“具体怎么做”往往被压缩成一句话。PrDiMP的正文也是这样：概率回归框架、可学习的损失调制、更强的初始化，三块主线都很清晰。但真正落到代码里，你需要知道的东西远不止这些——梯度里为什么会出现p(u)减去q(u)，在线优化为什么用Gauss-Newton而不是梯度下降，标签方差怎么和特征步长换算，样本权重什么时候更新，这些在正文里可能只是一句“详见附录”，在附录里才是一段可执行、可推导的完整逻辑。
从复现者的角度看，附录里装的东西可以分为三类：第一类是推导和性质证明，它保证了最终公式不是拍脑袋写出来的；第二类是优化器和迭代细节，它决定了在线更新能不能收敛，收敛得有多快；第三类是消融实验和超参数表，它告诉你哪些设计动不得，哪些设计可以大胆改。很多复现失败，不是因为看不懂正文，而是因为跳过了附录里这三类信息，拿着一个残缺的公式去拼代码。
1.2 我建议的阅读顺序
我不建议你从头到尾线性读附录，原因很简单：附录前半部分的数学推导对初学者不太友好，如果一上来就啃，很容易在第三节就放弃。我自己的顺序是倒着读。
第一步，先翻消融表格。把表格里那些“去掉某个组件就掉多少分”的条目圈出来，你就知道这套方法里哪些是主心骨，哪些是锦上添花。第二步，再回头读损失函数的推导，这时你已经知道最终要什么，看推导就有了目标感。第三步，读优化器的伪代码或迭代过程说明，把它翻译成循环结构。最后一步，看训练参数和数据配置，即那些决定复现结果能否对齐的参数细节。
这种阅读顺序本质上是在“带着问题读论文”。你先在消融表里建立期望值，然后让推导为这个期望值提供依据，最后让实现细节把推导落到代码。比起线性通读，这样走一遍之后你对附录的记忆会深刻得多，也更容易在实验时回忆起“当时为什么这么设计”。
1.3 复现者真正需要的三样东西
这里我把附录里对复现最有价值的信息整理成一张清单，方便你对照着找：
| 信息块 | 在附录中的角色 | 复现者要看什么 |
|---|---|---|
| 推导与性质证明 | 保证公式可用 | 损失和梯度的最终形式、前提条件 |
| 优化器与迭代细节 | 保证在线更新能跑 | 迭代次数、阻尼项、停止条件、初始化 |
| 消融与超参数表 | 校准你的期望值 | 组件取舍、关键参数范围、数据配置 |
这张表看起来简单，但实际复现时很多人是反过来的：先去网上找一份别人的实现，跑起来之后再去补论文，结果出了问题也不知道是优化器的问题还是损失函数的问题。而如果你先从附录里拿到这三个信息块，再对照着写代码，排查问题的路径会短得多。
2. 概率回归推导骨架：从“响应图”到“一张分布”
2.1 把响应分数当成logits
PrDiMP之前的判别式跟踪方法，比如DiMP那一套，本质上是在做回归：网络输出一张响应图s(u)，训练时用一个高斯形状的软标签去逼近它，损失函数就是L2距离。这个做法有个隐患——它假设响应图的绝对数值是有意义的，所以训练时你要小心翼翼地平衡容易样本和难样本，否则背景区域的低响应会把梯度带偏。
概率回归的第一步，就是把响应分数重新解释为logits：模型不再直接输出“目标在u处的得分”，而是输出“目标在u处的可能性”的未归一化对数。具体的定义是p(u|x) = exp(s(u)) / Σ exp(s(u′))，其中分母在一个搜索区域内做归一化。这一步变化看起来很轻，实际上很关键：得分图的绝对尺度不再重要，重要的是不同位置之间的相对置信度。你在线上更新模型时，分数整体涨了或跌了都不会影响最终决策，这天然消除了一整类“分数漂移”问题。
2.2 标签分布为什么是软的
既然模型输出的是一个分布，训练时的标签也应该是分布，而不是一个硬点。PrDiMP里标签分布q(u)通常取在目标中心处的一个高斯型分布，它的协方差跟目标尺度绑定：目标越大，标签越宽，代表对中心位置的标注越不确定。这个“软”不是随便选的，它编码了一个事实：边界框标注本身存在模糊性，特别是被遮挡、运动模糊或目标形变时，中心位置的“真实值”并不是一个精确像素。
用生活化的类比来说，L2回归像是要求射箭每次都正中靶心，而概率回归是要求你的落点分布整体偏向靶心、并且允许一定程度的散布。结果上，前者在标签噪声大时会把模型带偏，后者则会把不确定性显式地建模出来，让模型在高模糊区域学会“不自信”。
2.3 KL散度损失的最终形式
把预测分布和标签分布放在一起，最自然的度量就是KL散度。展开之后可以得到核心损失：
L(w) = Σ_u q(u) log q(u) − Σ_u q(u) s_w(u) + log Σ_u exp(s_w(u))
第一项只跟标签有关，对模型参数没有梯度，可以当成常数丢掉。第二项是“标签加权下的得分期望”，它让模型把高分放在标签概率高的地方。第三项是log-sum-exp，也就是归一化项，它防止模型把所有位置都打高分。整体看下来，这就是一个带软标签的softmax交叉熵——只不过这里的“类别”是搜索区域内的每一个空间位置。
我第二次读附录时才注意到一个细节：这个损失跟纯分类损失有个微妙差异。分类任务里标签通常是一个one-hot点，而这里用了一个空间分布q(u)，所以它既惩罚了“目标位置得分不够高”，也惩罚了“目标附近得分过于集中”。换句话说，它不仅约束了最好位置，还约束了整个响应面的形状。这一点在后面看消融表时会体现得非常明显。
2.4 梯度与老式DCF的呼应
对得分图求梯度会得到一个非常漂亮的形式：∂L/∂s(u) = p_w(u) − q(u)。也就是说，某个位置的梯度等于预测概率减去标签概率。如果模型在这个位置过于自信（预测概率大于标签概率），梯度会把分数往下拉；如果模型不够自信，梯度会把分数往上推。这个形式在数值上非常稳定，因为它是一个概率差，天然落在[−1, 1]区间附近，不像L2损失那样梯度可以无限制变大。
更有意思的是，它跟传统DCF的更新方式接上了。假设响应图来自一个线性滤波器，s(u) = (w * φ)(u)，那么损失对滤波器w的梯度，就是对残差图(p − q)做相关操作。这正是老式DCF里“用响应误差更新滤波器”的结构，只不过误差项从“预测值减标签值”换成了“预测概率减标签概率”。这意味着你可以保留整套DCF的优化框架，只需要把损失函数换掉，概率回归带来的所有收益就能平移到你的基线上。这个观察对动手改造现有跟踪器非常有用。
3. 附录里最有含金量的部分：在线优化的二阶近似
3.1 为什么非要用二阶信息
替换损失函数只是第一步，更关键的是在线更新能不能跑得又快又稳。幸运的是，这个KL损失有一个非常好的性质：softmax交叉熵是关于logits的凸函数，而logits又是滤波器参数的线性函数（卷积），所以整个损失关于滤波器参数是凸的。这意味着在线优化不存在局部最优陷阱，理论上可以放心地走到底。
但凸性只保证“有最优”，不保证“好找”。如果只用梯度下降，你需要很多步迭代才能逼近最优，而跟踪场景里每帧给出的优化时间预算极少。附录里推导的二阶信息正是为了解决这个矛盾。KL损失关于得分图的Hessian正好是diag(p) − ppᵀ，这是预测分布的协方差结构，它告诉你哪些方向已经确定（对应零特征值方向），哪些方向还不确定（对应需要优化的方向）。利用这个结构，一次二阶步长能顶好几次一阶梯度的效果。
3.2 共轭梯度解决的是什么
在滤波器参数空间里直接求Hessian逆是不现实的，因为参数维度很高，显式构造矩阵都困难。标准的做法是用共轭梯度法去近似求解线性方程组：H δ = −g。核心思想是你不需要知道H本身，只需要能计算H乘以任意向量的结果，而这一步可以通过两次前向传播自动完成。附录里的伪代码基本就是沿着这个思路展开的：初始化残差，迭代若干次，得到近似牛顿方向δ。
这里有一个实践上的建议：共轭梯度的迭代次数不用太多，我当时实验下来，5到10次就能达到很稳定的效果。每次迭代多一次矩阵向量乘，代价是可控的，但迭代步数翻倍收益会迅速边际递减。另外，初始化很重要——用上一帧优化好的滤波器作为起点，而不是每次从零开始，能显著减少达到收敛所需的迭代次数。这个细节在正文里几乎不会写，但恰恰是跟踪速度的主要来源之一。
3.3 数值稳定性：exp和log的战场
概率回归的损失函数里充满了exp和log，数值稳定性是一个必须认真对待的问题。如果你在无保护的条件下计算log Σ exp(s(u))，只要分数稍微大一点，比如10以上，单精度浮点就开始报警了。标准的解法是log-sum-exp的trick：先减去最大值m，再算log Σ exp(s(u) − m)，最后加上m。这个操作在实现上几乎是免费的，但很多人第一次手写这个损失时都会漏掉。
我建议你在实现时用一个独立的函数封装它，并且在换到自己框架上时做一次梯度检查。我说一个经常被忽视的细节：梯度也要经过这个稳定化过程，如果前向做了减最大值，反向传播时不能想当然地以为原来的公式还成立，最好用自动微分库里的现成logsumexp，或者对照数值梯度验证一遍。顺带一提，在线上优化过程中分数会越迭代越高，这意味着归一化常数不是一成不变的，每轮都要重新算，不能缓存一个旧值一用到底。
4. 训练细节与推理细节：附录里没写成公式的部分
4.1 标签方差与特征步长的换算
标签分布里的方差参数，可能是复现路上第一个“看着不起眼、错过就翻车”的细节。它通常由目标尺度决定，基本思路是：先算出目标在原始图像里的尺寸，除以特征步长换算到网格坐标系，再乘一个缩放系数得到标准差的格数。常见的系数在0.25附近，意思是一个目标大约覆盖4个标准差的范围。这个参数不是理论推导出来的，而是实验调出来的，所以换到不同骨架、不同步长时，不要直接抄，要按比例换算。
判断标签设得合不合理，我有个笨办法：把标签图可视化。如果它看起来几乎是一个单点脉冲，说明方差太小，KL损失会退化成带上一点平滑的硬softmax交叉熵，概率回归的优势就没了；如果它糊成一大片，定位精度又会下降。一个健康的标签分布应该至少覆盖三到五个空间网格单元，让softmax有足够的空间去塑造响应面的形状。
4.2 样本权重与难样本策略
在线更新的训练数据通常来自当前帧和历史帧的搜索区域，这些样本的重要性并不一样。一个稳定的背景深容易把模型带偏，一个被严重遮挡的目标样本也不应该和清晰样本享受同等待遇。PrDiMP继承了判别式跟踪器里的样本权重机制，每个样本根据当前损失大小获得一个权重，损失越大的样本权重越高，这实际上是一种难样本挖掘——但它是软性的，不像硬挖掘那样直接丢弃样本。
把样本权重放进KL损失的框架后，总的优化目标就变成带权重的损失之和。这样做的好处是，概率回归不是为每个样本硬性指定一个固定的目标，而是让模型自己学会在不确定样本上保持温和。实现时要注意权重更新的频率，每一轮优化都更新权重会让迭代过程不稳定，我通常的做法是固定几轮才重算一次，或者对权重做平滑。这个节奏在附录的超参数表附近一般能找到参考值。
4.3 推理时用期望而不是最大响应
推理阶段是概率视角最直观的体现：传统判别式跟踪器在得到响应图后，取最大值对应的位置作为目标中心；而概率回归框架下，更合理的选择是计算预测分布关于位置的期望，也就是把整张softmax概率图当作权重，对所有位置求加权平均。
这个差异在响应图出现多峰时特别明显。当目标和相似物同时出现时，argmax会在两个峰之间跳来跳去，造成抖动；而期望会自然地落在两个峰之间的“质量中心”，输出一个更平滑、更稳定的位置。我在实际调试中观察到，单看几帧可能觉得期望估计少了些锐度，但放长到几百帧，期望估计的跟踪失败率明显更低。附录里关于推理过程的描述通常很短，但这恰恰是关键的一笔：模型输出分布不是为了让论文看起来更数学，而是真能在推理阶段派上用场。
5. 消融实验怎么读：照这张表做取舍
5.1 消融表的三个维度
论文附录里的消融实验，本质上是给复现者的一份“设计说明书”。围绕PrDiMP这类方法，消融表通常围绕三个维度展开：损失函数形式（KL vs L2）、标签与方差设计（软分布 vs 硬标签）、在线优化配置（迭代次数、阻尼项）。你读的时候不要只看最终分数，要盯着每个维度单独变化时的影响方向。
举个例子，如果去掉概率损失换成L2，定位精度往往会下降，但下降幅度跟在什么数据集上测有很大关系；把标签方差调大调小，体现在成功率曲线上可能是“曲线变抖”而不是“均值下降”这种一眼能看出的变化，光看一个平均分容易被误导。所以我的建议是：把消融表当成实验设计参考，而不是验收标准。你自己复现时，先复现出表格里baseline那一行的趋势，再去改组件，这样每一步都有对照。
下面的表是我从复现者的角度整理的“关注点对照”，不是论文里的原表，但基本能帮你定位：
| 被消融的组件 | 典型现象 | 复现时要盯的点 |
|---|---|---|
| 概率回归损失 vs L2 | 定位精度下降、抖动变多 | 损失换回来之后响应图形态是否变尖 |
| 标签方差系数 | 太小抖、太大糊 | 目标尺度与特征步长的换算关系 |
| 在线优化迭代次数 | 次数少了不稳，多了边际递减 | 前几步的提升斜率是否最大 |
| 样本权重更新 | 高难度样本依赖明显 | 权重重算频率与平滑方式 |
5.2 这类工作在长时与泛化基准上的优势
按我的观察，概率回归带来的收益在不同数据集上是不均匀的。在长时跟踪基准上，比如视频长度动辄几百上千帧的那类公开数据，优势往往最明显，因为不确定性的建模能帮助模型在模糊帧里不做出极端判断，减少跟踪失败的发生。而在强调泛化能力的数据集上，比如训练类别和测试类别完全不重叠的一类设置，可学习的损失函数通常比固定的L2回归更能适应没见过的外观变化。
这种不均匀分布其实是个好消息，它意味着你不需要在所有指标上都看到大幅提升才算复现成功。如果你的实验环境更接近长时和泛化场景，那PrDiMP式的概率回归几乎肯定比纯L2更值得试；如果你的场景是目标清晰、遮挡少、运动简单的短时跟踪，那提升幅度可能很小，这时花大力气改框架就不太划算。
5.3 移植到自己的基线前先做判断
很多人把概率回归当成一个“装上就能涨点”的模块，结果在自己数据集上没涨，就开始怀疑复现错了。我的看法是，在动手前先做一次问题诊断。如果你的跟踪器当前的主要失败模式是“目标在相似物体之间来回切换”或“遮挡恢复阶段定位发飘”，那概率回归正好对症。如果你的主要失败模式是“目标直接消失导致完全跟丢”，那问题不在定位头，而在检测或更新策略，换损失函数解决不了核心矛盾。
做一个简单判断不需要太多成本：把你当前跟踪器的失败视频按原因分个类，数一数有多少是属于“定位不自信”导致的。如果这类占比很高，再投入时间把概率回归的损失、优化、推理全链路改上去；如果占比低，那更值得先把检测和目标状态管理做好。这个判断做完，你对附录里那些消融结论的体会会更深，因为你是在带着自己数据集的“病因”去读他们的结果。
6. 复现过程中不好写进论文的坑
6.1 标签sigma与特征步长匹配的抖动
这是我第一次把概率回归接到自己的特征提取器上时遇到的最典型问题：跟踪器在目标和旁边一个相似物体之间来回跳，视频看起来像在“抽搐”。当时第一反应是调学习率，折腾了很久才发现是标签方差没换算对。特征步长比参考实现大一倍时，如果还沿用原来的网格方差，标签在网格上会窄到几乎没法形成有效的软分布，优化出来的响应面就变成一个尖刺，一有噪声就跳到不相关的位置。
排查的方法很直接：把训练好的模型切到调试模式，打印一帧的标签图和预测概率图，并排看一下。如果预测概率图的峰值周围没有平滑过渡，大概率是标签方差偏小了。适当放大方差，让响应面在峰值周围有一个合理半径的“缓坡”，抖动通常会立刻缓解。
6.2 数值溢出与旧版归一化的坑
概率回归的损失实现里，数值问题不是“可能会遇到”，而是“一定会遇到”。在CPU上跑可能还好，到了GPU上，如果分数动态范围很大，exp溢出会直接让loss变成NaN，而且往往不是第一帧就出现，而是在在线更新跑了几十帧后突然爆发。原因前面说过：分数随迭代增大，归一化常数跟着变，而缓存值不会自动更新。
一个可靠的工程习惯是：所有涉及exp的地方都强制走稳定log-sum-exp，不要相信某个值“不会超过阈值”。另外，如果你从参考实现里搬运代码，留意他们把归一化常数的计算放在哪个位置，有些版本为了省时间会把部分结果缓存，换到你的数据分布上就可能出问题。宁可每轮多算一次几毫秒的归一化，也不要冒NaN的风险。
6.3 在线优化迭代次数过多导致过拟合
在线优化看起来只是在拟合当前帧附近的样本，但如果你把迭代次数调得过大，滤波器会对当前帧的特定外观过度锐化，反而丢掉了历史信息。这个现象在目标外观快速变化时尤其明显：模型刚记住了一张快速运动模糊的帧，下一帧又出现清晰正脸，两者特征差别很大，过度拟合的响应面就会在两张特征之间摇摆。
我试过把迭代次数从5调到20，离线验证时看不出大问题，上线跑长视频时失败率反而升高了。后来把迭代次数降回个位数，并适当增大阻尼项，稳定性明显改善。这个经验提醒我：附录里给出的迭代次数是在他们的数据分布、优化器设置下调出来的，你换了训练数据、换了损失实现细节，就要把迭代次数重新当作一个超参数来对待。
6.4 期望中心与尺度估计的联动抖动
推理时改用期望位置在多数情况下是好事，但它和尺度估计之间存在一个耦合问题：期望中心轻微移动会改变搜索区域，搜索区域改变又影响下一帧的尺度估计，尺度变回去又让期望中心偏移。如果两边都响应很快，就可能形成一个轻微振荡的闭环，表现是跟踪框在视频里以很小的幅度反复缩放和移动。
处理这个问题的办法是给其中一环增加惯性。我自己的做法是给期望中心输出做了一个轻量级的指数平滑，同时降低尺度更新的响应频率，让尺度不要每帧都剧烈变化。要注意的是，平滑系数不能太大，否则跟踪延迟会变大，在目标快速运动时反而跟不上。这个联动抖动的问题，论文里不会专门写，但它属于那种“复现时一定会遇到、想都想得到原因”的工程细节，值得提前预防。
真要给个建议的话，我会说：读这类技术附录，千万别抱着“把公式抄进代码就行”的心态。我自己的习惯是先对着消融表圈出三四个最影响结果的设计点，再回头精读推导，最后把优化器的迭代过程一行行翻译成循环。把附录当成一份带注释的实现说明书，复现的路会顺很多。最后再分享一个小技巧：换掉损失函数之后，先用一张包含遮挡和快速运动的序列做一次梯度检查，再把响应图可视化，确认预测分布的形状确实符合预期，这一步能替你省下整整一个晚上的盲目调参。
