简介：基于快速区域卷积神经网络的密集行人检测跟踪计数MATLAB仿真资源，面向本硕博及科研学习者，用于掌握深度学习目标检测算法在行人场景下的实际编程实现。资源共11个文件，约36.76MB，包含6个m脚本、3个txt说明文档和2个avi操作视频。脚本文件覆盖主程序及样条拟合、数据预处理、行人模型、区域定位、行人查找等核心函数，文本说明文档提供配置与运行说明，操作视频演示完整仿真操作流程。目前已有756人学习下载，适合希望结合代码与演示快速上手的用户。通过该资源可系统理解快速区域卷积神经网络在密集行人检测跟踪与计数任务中的网络结构、数据预处理、目标匹配及结果可视化等关键环节，并可直接在2021a及更高版本的MATLAB环境中运行调试，配合操作录像降低入门门槛。
1. 密集行人检测为什么绕不开fastRCNN：先跑通再优化的matlab路径
基于fastRCNN深度学习网络的密集行人检测跟踪计数，听起来是三个问题，真正动手做才发现是一条链路：检测框不准，跟踪就断；跟踪一断，计数必然重复。我在matlab里用trainFastRCNNObjectDetector微调过一个行人检测器，配卡尔曼滤波与匈牙利匹配做跟踪，再把轨迹压到一根虚拟线上完成进出计数，整套仿真跑下来，最有价值也最容易翻车的环节，其实是跟踪关联而不是网络本身。这篇写给准备用matlab做密集行人计数仿真的工程师和学生，目标只有一个：把手里的代码包或你自己攒的脚本，改成一版能稳定跑完、计数可信的仿真流程。新手能照着把默认参数跑通，熟手能在避坑章节里找到你正卡住的那个问题。
2. 用matlab训练fastRCNN行人检测器：数据集准备与三个关键训练参数
2.1 为什么选fastRCNN而不是fasterRCNN：matlab里它能帮你省掉RPN
fastRCNN相对R-CNN最大的变化是：整张图只过一次卷积，再用ROI池化把每个候选区域对齐到固定尺寸的特征图上。你在matlab里调用trainFastRCNNObjectDetector时，它内部替你完成了这一整套流程，你不需要手动写region proposal network，也不需要理解anchor到底是怎么生成的。这是它比fasterRCNN更适合做仿真项目的第一点：参数少，训练快，显存占用低。
第二点是选型上的实际权衡。fasterRCNN的RPN在密集小目标上确实更强，但代价是训练时多一个网络分支要调，1080Ti级别的显卡跑起来一个epoch的时间比fastRCNN多一半以上；做毕设、做客流统计仿真，精度要求没到算法比赛那个程度，fastRCNN在性价比上是够用的。真实行人场景里，行人目标通常在40x80到120x240像素之间，ROI池化对这个尺度范围的特征提取是稳的。需要记住一个边界：如果画面里的人头小于32x32像素，例如远距离俯视监控，edge boxes生成候选区域召回会明显下降，这时候再考虑换fasterRCNN。
有人会问，matlab里直接改两行代码就能换网络，为什么还要坚持fastRCNN。我的习惯是：先跑通一条完整链路，再谈换网络。fastRCNN的训练输入、检测输出、参数语义都是matlab里最直白的一套，用它把数据集、跟踪、计数逻辑都验证过，后续换fasterRCNN只用替换检测器训练和调用部分，跟踪计数代码完全不用动。这是做仿真项目最稳的推进方式。
2.2 数据集准备：行人检测数据集的标注规范化与matlab表格组织
在matlab里，trainFastRCNNObjectDetector要求训练数据是一个table，至少两列：第一列是图像绝对路径，列名固定为imageFilename；第二列是类别名，例如person，每一行是一个Mx4的矩阵，存放该图像里所有行人的边界框[x y w h]。注意是[x y w h]，不是[x1 y1 x2 y2]，这是最常见的格式翻车点。
如果你手里是PASCAL VOC风格的XML标注，或者目前公开的行人检测数据集里有XML格式的标注，需要把它转成上面这个table。以下是我常用的转换函数：
function trainingData = voc2matlabtable(vocImgDir, vocXmlDir) % 把PASCAL VOC风格的XML标注转成trainFastRCNNObjectDetector需要的table % 输入：图片目录、XML目录，目录下同名文件一一对应 imds = imageDatastore(vocImgDir); numImgs = numel(imds.Files); boxPerImg = cell(numImgs, 1); for i = 1:numImgs [~, name] = fileparts(imds.Files{i}); xmlPath = fullfile(vocXmlDir, [name '.xml']); if ~exist(xmlPath, 'file') boxPerImg{i} = zeros(0, 4); % 没有标注的图也必须有占位 continue; end node = readstruct(xmlPath); objs = node.object; if isempty(objs) boxPerImg{i} = zeros(0, 4); continue; end % 单目标时readstruct返回的是struct不是struct数组 if ~isfield(objs, 'name') objs = objs(:)'; end boxes = zeros(numel(objs), 4); cnt = 0; for j = 1:numel(objs) % 只保留person类别，其他类别跳过 if ~strcmp(objs(j).name, 'person') continue; end cnt = cnt + 1; bnd = objs(j).bndbox; x1 = str2double(bnd.xmin); y1 = str2double(bnd.ymin); x2 = str2double(bnd.xmax); y2 = str2double(bnd.ymax); boxes(cnt, :) = [x1 y1 x2-x1 y2-y1]; end boxPerImg{i} = boxes(1:cnt, :); end % 列名必须与类别名一致，否则trainFastRCNNObjectDetector不认 trainingData = table(imds.Files, boxPerImg, ... 'VariableNames', {'imageFilename', 'person'}); end这段代码里有一个细节值得单独说：没有person对象的图片，必须给zeros(0, 4)占位，不能省略这一行。因为训练时matlab要保证每张图都有对应的标注列，空cell或缺失行会让trainFastRCNNObjectDetector在读取数据阶段直接报错。另外，如果你做的是多类别检测，table里每多一个类别就多一列，列名就是类别名，值同样是Mx4的矩阵。
数据准备好之后，还有个容易被忽略的步骤：统一图像尺寸。训练数据的图不要直接扔原图，我一般会把长边缩放到800像素左右，按等比缩放后同步缩放标注框。这样训练时显存占用可控，模型收敛也快。缩放的代码不复杂：用imresize对图像操作，缩放比例scale = 800 / size(I, 2)，标注框的x、y、w、h分别乘以scale即可。
2.3 训练脚本与三个关键参数：trainFastRCNNObjectDetector的配置
数据table就绪后，训练本身只需要一个函数调用，但参数的设置直接决定你是训练出一个能用的检测器，还是训练出一个看着loss下降、实际满屏误检的模型。下面是我在一段1080x1920监控视频、约800张标注帧上训练fastRCNN的完整脚本：
% 加载预训练网络，这里用ResNet-50做特征提取 net = imagePretrainedNetwork('resnet50'); lgraph = layerGraph(net); % 去掉原分类层，fastRCNN会自己接入ROI池化和分类层 lgraph = removeLayers(lgraph, {'Logits', 'ClassificationLayer_Logits'}); % 训练选项：微调场景学习率必须小 options = trainingOptions('sgdm', ... 'InitialLearnRate', 1e-4, ... 'LearnRateSchedule', 'piecewise', ... 'LearnRateDropFactor', 0.1, ... 'LearnRateDropPeriod', 8, ... 'MiniBatchSize', 2, ... 'MaxEpochs', 12, ... 'VerboseFrequency', 20, ... 'CheckpointPath', tempdir, ... 'ExecutionEnvironment', 'gpu'); % 训练fastRCNN检测器 detector = trainFastRCNNObjectDetector(trainingData, lgraph, options, ... 'PositiveOverlapRange', [0.5 1], ... 'NegativeOverlapRange', [0 0.3], ... 'NumRegionProposals', 500);三个关键参数，逐个说清楚。
第一个是InitialLearnRate。用预训练网络做微调，学习率从1e-4起步是经验值。如果你想验证这个值的合理性，可以从1e-3开始跑，你会看到loss在前几十个iteration里剧烈震荡，然后某个时刻突然变成NaN；这几乎可以确定是学习率过大。fastRCNN的微调不需要从头训，1e-4配合12个epoch已经足够让它收敛到0.3以下的loss。
第二个是MiniBatchSize。这里设成2不是因为训练数据少，而是因为fastRCNN的每个训练样本包含数百个候选区域，batch越大，GPU显存消耗是成倍增长的。我曾经在1080Ti上把MiniBatchSize设成4，训练到第30个iteration直接报Out of memory。设成1到2是稳妥做法，训练时间会拉长，但不会中途崩掉。
第三个是NumRegionProposals。这是控制edge boxes候选区域数量的参数，默认是2000。对于行人这类目标较大、纹理清晰的对象，500到800个候选区域已经够用；设成2000会让每个iteration变慢一倍以上，精度提升却感知不到。如果你发现漏检严重，先把这个数值往上调到1500再看，不要一上来就动网络结构。
训练过程中关注VerboseFrequency输出的loss日志。一个健康的训练过程是：前100个iteration里loss快速下降，之后缓慢波动下行。如果loss在2.0附近横盘不动，说明学习率太低或正负样本比例失衡，可以尝试把PositiveOverlapRange从[0.5 1]放宽到[0.4 1]，让更多候选区域参与正样本训练。训练中途如果因意外中断，CheckpointPath设的tempdir里有checkpoint文件，可以直接load进去接着训，不需要重头再来。
3. 从检测框到计数结果：跟踪关联与虚拟线计数的实现细节
3.1 先做NMS再谈跟踪：密集场景的检测输出不能直接用
检测器输出的bboxes在密集行人场景里往往是大量重叠的，这是edge boxes加ROI池化的正常现象：同一个行人可能被三四个候选区域同时命中，置信度都在0.3到0.6之间。如果直接把原始检测输出送给跟踪器，一个行人会对应多个检测框，代价矩阵会错乱，ID会分裂。所以每帧检测后必须先做非极大值抑制。
matlab里可以直接用detect方法的参数控制，也可以把检测结果拿出来自己处理。我一般选择把原始输出全部拿回来，然后手动控制NMS的阈值：
[bboxes, scores] = detect(detector, frame, ... 'NumRegionProposals', 500, ... 'Threshold', 0.3, ... 'SelectStrongest', false); if isempty(bboxes) % 本帧没有检测到目标，直接进入下一帧 continue; end % 对检测框做NMS，去除同一行人的重叠框 [idx, ~] = selectStrongestBbox(bboxes, scores, ... 'RatioType', 'Union', ... 'OverlapThreshold', 0.45); bboxes = bboxes(idx, :); scores = scores(idx, :);这里Threshold设0.3而不是0.5，是密集场景的关键。行人互相遮挡时，被挡一半的行人置信度通常在0.2到0.4之间，阈值设太高会把这些真框过滤掉。NMS的OverlapThreshold设0.45，意味着两个框的IOU超过0.45时只保留分数高的那个；在挨着走的人群里，这个值不能再往上调，否则会把并行行走的两个人合并成一个框。
3.2 卡尔曼滤波与匈牙利匹配：实现跨帧轨迹关联
检测解决的是“这一帧哪些位置有人”，跟踪解决的是“上一帧的人和这一帧的人是同一个”。我在这里用最经典也最好排查的组合：卡尔曼滤波做运动预测，assignDetectionsToTracks做最优匹配。状态量只用检测框中心点[x, y]和速度[dx, dy]，建一个4维常速度模型；代价矩阵不用IOU而用中心点欧氏距离除以100做归一化，密集场景下中心点距离比IOU更稳定——人挨着人时两个框的IOU可能高达0.7，但中心点还是有几十像素的区分度。
% 每个track保存：id、卡尔曼滤波器、连续可见帧数、连续丢失帧数、是否已计数 tracks = struct( ... 'id', {}, 'kf', {}, ... 'totalVisible', {}, 'invisible', {}, ... 'lastCenter', {}, 'smoothedCenter', {}, ... 'counted', {}, 'lastBox', {}); nextId = 1; countIn = 0; countOut = 0; lineY = 300; % 虚拟线位置，按画面实际设定 while hasFrame(v) frame = readFrame(v); % 检测与NMS代码见3.1，这里假设bboxes已经是NMS后的结果 if isempty(bboxes) % 没有检测框时，所有track先predict，再统一增加invisible for i = 1:numel(tracks) tracks(i).lastCenter = tracks(i).kf.predict(); tracks(i).invisible = tracks(i).invisible + 1; end continue; end detCenter = [bboxes(:,1)+bboxes(:,3)/2, bboxes(:,2)+bboxes(:,4)/2]; % 第一步：所有已有track先做预测 for i = 1:numel(tracks) tracks(i).lastCenter = tracks(i).kf.predict(); end numTracks = numel(tracks); numDet = size(detCenter, 1); % 第二步：构造代价矩阵，距离越远代价越大 if numTracks > 0 && numDet > 0 costMat = zeros(numTracks, numDet); for i = 1:numTracks for j = 1:numDet costMat(i, j) = norm(tracks(i).lastCenter' - detCenter(j, :)) / 100; end end costOfNonAssignment = 1.2; [assigns, unAssignedDet, unAssignedTrk] = ... assignDetectionsToTracks(costMat, costOfNonAssignment); else assigns = []; unAssignedDet = 1:numDet; unAssignedTrk = 1:numTracks; end % 第三步：匹配成功的track用检测结果修正卡尔曼状态 for a = 1:size(assigns, 1) ti = assigns(a, 1); di = assigns(a, 2); tracks(ti).smoothedCenter = tracks(ti).kf.correct(detCenter(di, :)'); tracks(ti).lastBox = bboxes(di, :); tracks(ti).totalVisible = tracks(ti).totalVisible + 1; tracks(ti).invisible = 0; end % 第四步：未匹配的检测框建立新track for d = unAssignedDet(:)' tracks(end+1) = struct( ... 'id', nextId, ... 'kf', vision.KalmanFilter('ConstantVelocity', ... [detCenter(d, 1); detCenter(d, 2); 0; 0]), ... 'totalVisible', 1, ... 'invisible', 0, ... 'lastCenter', detCenter(d, :)', ... 'smoothedCenter', detCenter(d, :)', ... 'counted', false, ... 'lastBox', bboxes(d, :)); nextId = nextId + 1; end % 第五步：未匹配的track增加invisible计数，超过阈值删除 for t = unAssignedTrk(:)' tracks(t).invisible = tracks(t).invisible + 1; end keepIdx = arrayfun(@(s) s.invisible < 10, tracks); tracks = tracks(keepIdx); % 计数逻辑与画框代码见3.3 end这里有几个参数含义需要讲透。costOfNonAssignment设1.2，意味着归一化距离超过1.2，也就是原始像素距离超过120像素时，检测框和track宁愿不匹配，也不强行配对。对30fps的监控视频，行人正常步行速度在两帧之间移动约10到30像素，120像素的阈值已经留了足够余量；如果你处理的是帧率较低的视频或者跑步场景，这个值要对应放大。unAssignedTrk的删除阈值设10帧，意思是连续10帧没有匹配到检测框就删除该track；这个值过小会导致遮挡几帧后track丢失，过大又会让消失的track残留在计数逻辑里造成误判，10是折中的起点。
这里有一个很多人第一次跑会踩的逻辑坑：卡尔曼的predict必须在关联之前调用，correct必须在关联之后调用。predict得到的是“这一帧我预期目标在哪里”，用这个预期位置去和检测框匹配；correct则是匹配成功后，用真实检测位置去修正预期。顺序反了，代价矩阵用的是上一帧的状态，匹配结果会整体滞后一帧，密集场景下直接表现为ID频繁切换。
3.3 虚拟线计数：用轨迹穿越方向去重，而不是用单帧检测框
计数逻辑要解决的核心问题是重复计数。如果直接拿检测框的位置判断“这个框在线下方、下一帧在线下方”，同一行人每帧都可能触发一次计数。正确做法是：每条轨迹第一次穿越虚拟线时计一次数，之后这条轨迹无论怎么来回穿越都不再计。
% 先更新所有track的计数状态 for i = 1:numel(tracks) if tracks(i).counted continue; end cy = tracks(i).smoothedCenter(2); % 修正后的y坐标 py = tracks(i).lastCenter(2); % 预测的y坐标 % 从线上方穿到下方，计为进入 if py >= lineY && cy < lineY countIn = countIn + 1; tracks(i).counted = true; % 从下方穿到上方，计为离开 elseif py <= lineY && cy > lineY countOut = countOut + 1; tracks(i).counted = true; end end判断穿越方向用的是smoothedCenter和lastCenter，也就是卡尔曼校正后的位置和预测位置，而不是原始检测框的y坐标。这么做的原因是检测框本身有抖动，可能人还没真正过线，框的下边缘就触发了判断；用卡尔曼平滑后的中心点，轨迹变化是连续且稳定的。同时，每帧对每条track只判断一次，且counted置true后永久跳过，从机制上杜绝了重复计数。
画框和叠加计数的代码，我习惯在同一个循环里完成：
% 画虚拟线和计数结果 frame = insertShape(frame, 'Line', [0 lineY size(frame, 2) lineY], ... 'Color', 'yellow', 'LineWidth', 2); frame = insertText(frame, [10 10], ... sprintf('In:%d Out:%d', countIn, countOut), ... 'FontSize', 20, 'BoxColor', 'black', 'TextColor', 'white'); writeVideo(vw, frame);visualizer部分不是核心逻辑，但输出视频能直观看到每个track是否如期穿越了线，是谁穿过去的。这对后续排查ID跳变和重复计数至关重要，至少要跑一遍完整测试视频，肉眼确认计数结果和实际人数一致，比看任何指标都直接。
4. 密集场景的五个经典翻车现场：现象、原因与排查清单
4.1 训练中途内存耗尽，matlab直接无响应
现象：trainFastRCNNObjectDetector跑完几个iteration后，matlab窗口标题变成“未响应”，或者命令行报Error using trainFastRCNNObjectDetector / Out of memory on device。
原因：fastRCNN每个训练样本都要把至少500个候选区域同时送入网络计算，这比普通分类训练吃显存得多。MiniBatchSize设成4以上，或者输入图像没有缩放，直接喂1920x1080原图，显存很容易爆。
解决：MiniBatchSize降到1或2；在数据准备阶段把图像长边缩放到800像素，并同步缩放标注框；NumRegionProposals从2000降到500。如果还是爆，把ExecutionEnvironment改成'auto'让matlab自动降级到CPU试试，或者检查是否有其他程序占用GPU显存。训练中断不需要从头再来，用CheckpointPath里的checkpoint文件可以续训。
4.2 Loss不降或直接变成NaN
现象：训练日志里loss在2.0到2.3之间横盘几十个iteration不动，或者某个iteration变成NaN后一路NaN到底。
原因：横盘通常是初始学习率偏高导致loss在局部震荡下不去，或者正负样本严重失衡，负样本候选区域远多于正样本；NaN则几乎可以锁定是学习率过大，梯度爆炸把权重更新成了无效值。
解决：横盘时把InitialLearnRate从1e-4降到3e-5，同时把PositiveOverlapRange放宽到[0.4 1]增加正样本贡献；NaN直接停掉训练，学习率降一个数量级重跑。另外排查一下训练数据里的标注框有没有零宽高或负值，这种脏数据也会让loss异常。
4.3 两个紧挨的行人只出一个框，漏检导致计数偏少
现象：检测结果里两个并行的人常常合并成一个框，或者被遮挡的那个时有时无，最后的计数结果明显少于实际人数。
原因：密集行人的候选区域大量重叠，NMS把低置信度的真框当冗余框删掉了；同时Threshold设成0.5会过滤掉遮挡场景下置信度较低的正确检测。
解决：Threshold降到0.25到0.3，OverlapThreshold从0.5降到0.4，让NMS更宽容；训练时放松PositiveOverlapRange到[0.4 1]。如果改了这些还是漏，检查训练集里有没有足够多的密集人群样本，密集帧不足是检测器在拥挤场景失效的根因。
4.4 遮挡几帧后ID跳变，同一个行人被重复计数
现象：一个人从另一个人身后穿过之后，输出视频里他的ID从5变成了12；如果这个过程中他穿过了计数线，计数会被计两次。
原因：遮挡期间track连续未匹配到检测框，invisible达到阈值后被删除；行人重新出现时作为一个全新track创建，counted标志默认false，于是线穿越逻辑把它当成一个新人。
解决：把track删除阈值从10帧放大到15到20帧，给短暂遮挡留缓冲；更有效的做法是计数条件增加一条约束，要求track的totalVisible大于等于3帧才允许计数。这样即使track断了重建，只要它重建后没满足连续可见条件，也不会立刻触发计数。重复计数对客流统计的影响比漏检更大，宁可让一个人晚几帧计数，也不能让同一个人计两次。
4.5 不同matlab版本下同一段代码结果不同，甚至直接报错
现象：从网上下载的代码包在别人的电脑上能跑，换到你的matlab上提示未定义函数trainFastRCNNObjectDetector，或者同一条detect语句在另一台机器的matlab 2026b上参数报错。
原因：trainFastRCNNObjectDetector在较老的matlab版本里不存在，检测器的API在不同版本间也有参数调整；例如新版用imagePretrainedNetwork导入预训练网络，老版本还在用vgg16或resnet50的旧接口。
解决：先运行ver('vision')和ver('deep')确认计算机视觉和深度学习工具箱都安装了；然后执行doc trainFastRCNNObjectDetector查看当前版本的函数签名，以你自己版本为准修改参数名。这类代码包附带操作视频的话，看视频时第一件事就是确认作者用的matlab版本和你的一致，不要照着一个旧版本的录像去对下个新版本的报错。
5. 结果可信度验证：用测试视频把误检和计数误差量化出来
训练集和测试集要分开，这是所有检测任务的地基。取一段完全没有参与训练的监控视频，人工数一遍真实进出人数作为ground truth。然后跑完跟踪计数流程，把结果和真人对一遍。只靠肉眼扫视频判断“好像差不多”，在密集场景里根本不成立，因为漏检和重复计数可能互相抵消，最后总数好看，过程其实是乱的。
我建议在计数之外增加一层检测指标的统计，每帧记录TP、FP、FN。实现上用bboxOverlapRatio函数，把检测框和人工标注框做IOU匹配，IOU大于0.5算对上：
% 假设当前帧人工标注为gtBoxes，检测器输出为bboxes（NMS后） if ~isempty(gtBoxes) && ~isempty(bboxes) ov = bboxOverlapRatio(bboxes, gtBoxes); matchedDet = any(ov > 0.5, 2); matchedGt = any(ov > 0.5, 1); tp = tp + sum(matchedDet); fp = fp + sum(~matchedDet); fn = fn + sum(~matchedGt); else fp = fp + size(bboxes, 1); fn = fn + size(gtBoxes, 1); end配合这个统计，每一版参数调整后都能得到一张对比表：precision、recall、ID跳变次数、进出计数误差。我一般每改一次参数就把这段统计重跑一遍，代替“感觉检测框准了一些”的主观判断。还有一个习惯是最终交付前，在输出视频里盯一遍所有track穿过计数线的瞬间，确认每条轨迹的counted标志只在第一次穿越时生效。跟踪计数这类东西，黑匣子越少越好，数值指标和肉眼复核都对上了，仿真结果才敢拿去写报告。希望帮到你。
本文还有配套的精品资源，点击获取
