简介：这是一份深度学习领域行为识别方向的学术资料，源自《计算机与数字工程》2024年第12期，聚焦基于时空图卷积网络（ST-GCN）的轻量级模型设计，面向计算机视觉研究者、算法工程师及关注骨骼行为识别的高年级学生。论文针对传统行为识别方法参数量大、计算复杂度高、难以兼顾精度与时效的问题，提出在输入层加入自训练注意力结构学习节点隐性连接，在空间与时间模块引入脖颈结构、残差结构及通道挤压与激励机制，并在NTU-RGB+D60数据集上完成大量实验：计算复杂度降低4.7倍、参数量降低4.4倍，同时CS与CV指标精确率分别提升2.8%和3.1%。资源包共1个PDF文件，大小2.01MB，内容包含完整的论文正文、网络结构示意图与实验对比数据，既适合快速了解轻量级行为识别的改进思路，也可为相关课题提供模块设计和量化分析的参考。目前已有75人学习，是深度学习与计算机视觉交叉方向值得阅读的一手资料。
1. 把 310 万参数的 ST-GCN 压到 64 万：先说这份轻量级行为识别方法在解决什么问题
如果你跑过基于骨骼的行为识别，大概率绕不开 ST-GCN。它是一种时空图卷积网络，先把人体骨架按帧建模成图，再用图卷积同时提取动作的空间结构，和时间上的演变。听起来很适合深度学习落地，但它有一个很现实的问题：体量超标。这份《基于 ST-GCN 的轻量级行为识别方法》PDF，针对的正是“精度不错、参数和计算量却下不来”的痛点。
作者在 ST-GCN 基础上加了三个结构：自训练注意力结构、脖颈结构与残差连接、通道挤压与激励机制。最终把模型参数量从 310 万压到 64 万，计算复杂度和参数量分别减少约 4.7 倍和 4.4 倍，在公开行为识别数据集 NTU-RGB+D60 的 CS、CV 两个评价指标上，精确率反而提升 2.8% 和 3.1%。
我拆这份 PDF 时的判断是：它适合三类人——想在摄像头、嵌入端做实时动捕的工程师；准备拿 ST-GCN 当 baseline、但显存只有 8G 的研究型开发者；以及纯粹想搞懂图卷积网络如何做轻量化改造的入门者。下面几章不绕理论，直接讲那行图卷积公式、每个模块参数怎么设，以及我按论文重建流程时最容易掉进去的坑。
2. ST-GCN 的臃肿从哪来：图卷积公式与三个轻量级改动
2.1 骨架图上的卷积到底怎么算
行为识别输入的不是普通 RGB 图像，而是一段按时间排序的骨架序列。每个关节点可以写成三维坐标，或者带置信度的坐标格式，一整段序列就是一个三维数组，论文里记为 C×V×T：C 是每个关节的特征通道数，V 是单帧的关节节点数，T 是时间帧数。这个数据和图像有一个根本区别：人体骨架是非欧氏结构。关节与关节之间由骨骼连接，这种连接没法直接塞进规则网格做二维卷积。
ST-GCN 的处理方式是把它变成图结构。每一帧的关节当作图上的节点，骨骼当作边；同时在相邻帧之间，同一个关节点再连一条时间边，把动作随时间怎么变化也编码进去。图卷积在每一层做的事情，本质上是对每个节点做一次聚合：把我自己、我的邻居、以及经过学习得到的潜在关联节点的特征按权重相加，再过非线性激活。
论文里给出一行很关键的计算式：
K_v = Σ_k W_out · f(A_k + M_k + B_k)
这里的 A_k 是预定义的邻接矩阵，M_k 是注意力矩阵，B_k 是初始化为 0 的可学习参数矩阵，f 是归一化或激活操作，W_out 是输出变换矩阵。值得停下来细看的是 B_k，这是它在注意力机制上最重要的改动。传统 ST-GCN 中，可学习注意力矩阵和骨架邻接矩阵做点乘，A_k 里是 0 的位置，注意力矩阵不管算出什么值，相乘后都会变成 0。那些在物理骨骼上没有直接相连、但对某个动作其实很重要的远端关节，就一直没有机会被模型捕捉到。
B_k 的存在相当于给邻接矩阵加了一个“隐性连接通道”。它初始为 0，不破坏原有拓扑，但在训练过程中可以逐渐学出一个非零偏移量，把不相邻节点的特征也聚合进来。翻译成直觉就是：骨架图不能只靠人体解剖结构决定连不连，还要让数据自己决定某些关节“暗地里”是否相关。
2.2 原版 ST-GCN 的参数都烧在哪
与其直接说改进，不如先算一笔账。原版 ST-GCN 在行为识别任务上是 9 层 st-gcn 堆叠，每层又拆成空间图卷积和时间卷积两个独立模块。前面几层输入才 3 个通道，随着网络加深，通道数一路放大到 128、256，最后两层的大卷积几乎吃掉大部分显存和算力。论文给的基线数据很清楚：原始 ST-GCN 参数约 310 万，模型大小 12.19 MB，计算量约 16.32 GFLOPs。
很多研究者解决这个问题时，会选择多流结构：骨骼、骨骼边、运动速度分别送进多个网络再融合。精度确实高，但参数和推理成本成倍增加，在边缘端很难落地。这篇论文的做法恰恰相反——不增加流的数量，只在单流内部做改造。三个改动分别是：把注意力矩阵的乘法关系改成带隐性连接的加法关系；在空间和时间模块里插入脖颈结构降低中间通道数；加入通道挤压与激励机制重标定全局特征。
脖颈结构第一次出现时容易被人误解，它不是把网络加深，而是在模块入口先用一个 Transition 层把通道从高维压到低维，卷积之后再通过另一个 Transition 层升回去，像一个瓶颈卡在中间。残差连接跨过卷积主体，让梯度能更直接回传，缓解网络加深后的训练难度。通道挤压与激励放在脖颈结构之后、激活函数之前，先对特征图做全局平均池化，再用两个全连接层给每个通道生成权重。
这三个改动分工非常清楚：注意力加 B_k 解决“图没连全”的问题，脖颈结构解决“参数减不下来”的问题，通道激励解决“通道被平均化、辨识度不够”的问题。三条线互不干扰，所以论文实验里能一套一套拆开验证，每组对比的改进来源都明确。
2.3 通道减少速率 r 是不是越大越好
论文里最能说明这个问题的实验出现在脖颈结构部分。作者以加了注意力 B_k 的模型为基准，比较不同通道减少速率 r。这里的 r 控制 Transition 层压缩倍数：r 大意味着中间卷积通道被压缩得更狠，参数更少。r=0 等价于不压缩，网络保持原宽度；r=2 压缩到一半；r=4 压缩到四分之一；r=8 压缩到八分之一。
实验结果整理成一张表，方便直接对照：
| r | 参数量（万） | CS Top1（%） | CS Top5（%） |
|---|---|---|---|
| 0（不压缩） | 312 | 82.4 | 96.7 |
| 2 | 148 | 81.3 | 96.6 |
| 4 | 64 | 82.8 | 97.4 |
| 8 | 36 | 81.0 | 96.9 |
这个表一出来，一个反直觉的结论就很明显：r=2 参数少了差不多一半，精度反而从 82.4 掉到 81.3；r=4 参数只有原来的四分之一，精度却升到 82.8，Top5 冲到 97.4；继续压到 r=8，参数只剩 36 万，精度又掉回 81.0。这说明通道压缩不能线性外推，中间存在一个甜点区。r=4 能同时保留足够的信息表达能力和较低的计算量，是这个结构下的推荐配置；盲目追求更小的 r，会把瓶颈层特征维度压到信息丢失，后续层很难补回来。
这个表也直接点破了“轻量级”不是单纯砍通道数。r 选得合适，中间层的冗余被清掉，反而帮模型把注意力集中到更有效的特征上；r 过头，连续两层之间的信息通道变窄，语义信息直接断裂。第 5 章的踩坑记录里，我还会专门提它的一种常见误用方式。
3. 照着重做一遍 9 层 st-gcn：模块顺序与关键参数
3.1 整体结构顺序
把论文结构转成一个能直接落地的计算图，顺序是这样：输入是 C×V×T 的骨架序列，先过一层 BatchNorm 归一化，进入 9 层 st-gcn 单元，最后一层输出通过全局平均池化，接一个 Softmax 分类器。论文没有在正文里标注每一层的具体通道数。按我平时搭 ST-GCN 的习惯，采用公开实现里最常见的布局：前三层通道 64，中间四层通道 128，最后两层通道 256，帧数在第 4 层和第 7 层各做一次时间维下采样。
这里有个容易搞混的点：论文标题里的 9 层，指的是 9 个 st-gcn 基本单元，不是 9 个普通卷积层。每个单元内部都串着空间卷积和时间卷积各一次，准确说图卷积总共跑了 18 次，再加上注意力、脖颈结构、激励模块，实际计算过程比“九层网络”的直观印象深得多。复现时不要只搭 9 个普通卷积层，否则计算图和参数量都对不上。
单个 st-gcn 单元的内部结构，按论文第 3 章的模块图拆成下面几步：
| 步骤 | 操作 | 说明 |
|---|---|---|
| 1 | Transition 层（降维） | 按 r 把通道数压到原来的 1/r |
| 2 | BatchNorm | 稳定数据分布 |
| 3 | 空间图卷积 | 按 A+M+B 聚合空间邻居特征 |
| 4 | BatchNorm + Dropout | 抑制过拟合 |
| 5 | Transition 层（升维） | 恢复通道，送入时间模块 |
| 6 | BatchNorm + 时间卷积 | 聚合相邻帧的时间依赖 |
| 7 | BatchNorm + Dropout | 时间分支同样做随机失活 |
| 8 | Transition + ReLU | 输出前恢复通道维度并激活 |
空间模块和时间模块的输入输出各加入脖颈结构，所以一个单元里有两次“降维到卷积再到升维”的过程。残差连接分别跨在空间卷积和时间卷积两侧，输入跳过卷积主体与输出做加法。通道挤压与激励在脖颈之后接入，对通道做一次重标定。整体是一个很规整的“窄—宽”结构，两头大、中间细。
3.2 残差连接怎么接才不出错
复现时最容易报错的位置在残差连接。多数层里空间卷积和时间卷积的输入输出通道保持一致，残差可以直接相加。但第 4 层、第 7 层做通道扩展和时间下采样时，输入输出形状不一样，直接相加会报维度错误。常见做法是在残差分支加一个 1×1 卷积，把输入通道变换成输出通道数；时间维不匹配时再补一个步长或池化，保证主分支和残差分支能对位相加。
我复现时习惯把残差分支的投影层单独拉出来检查：先打印输入输出的 shape，再逐层走一遍，确认所有单元两侧张量的空间维和通道维都一致。另一个容易忽略的点是 Dropout 的位置。按论文模块图，Dropout 加在空间和时间卷积各自的 BatchNorm 之后，而不是加在整个网络最后。这个位置会影响训练阶段的随机失活粒度，也影响推理阶段是否需要显式把 Dropout 关掉。
脖颈结构的参数就是前面反复提到的 r，默认设 4。Transition 层内部没有额外激活，只是用 1×1 卷积来回变换通道数。收益在实验表里已经验证：r=4 时参数量降到 64 万，比 r=0 少近八成，精度反而提高 0.4 个点。我实际跑下来，这套配置下显存占用比原版明显低，单卡 8G 完全可以跑 batch size 16。
3.3 通道挤压激励加在哪一步
通道挤压与激励机制作用在特征图上，不是独立分类头。它嵌入在空间和时间模块的脖颈结构之后、激活函数之前。机制分两步：第一步是挤压操作，把空间和时间维度的全局信息压成一个通道向量；第二步是激励操作，用两个全连接层对这个向量做降维、激活、升维，生成每个通道的权重，最后和输入特征图逐通道相乘。
论文给出的降维率是 16，即第一个全连接层把通道 C 先压到 C/16，过 ReLU，再升回 C，过 Sigmoid。公式可以拆成三段理解：
挤压操作：F_s = (1/(H×W)) × Σ_i Σ_j f_in(i,j) 激励操作：F_se = σ( W2 · δ( W1 · F_s ) ) 输出融合：F_out = F_se × f_in
其中 W1 是降维全连接，δ 是 ReLU，W2 是升维全连接，σ 是 Sigmoid。
复现时我重点盯的只有一个参数：降维率 rho=16。它控制额外的全连接层参数量。论文实验里，增加这个机制后，模型参数只多了约 6 万，模型大小从 2.69 MB 涨到 2.96 MB，计算量从 3.49 GFLOPs 涨到 3.51 GFLOPs，但 CS Top1 从 82.8 提到 84.3，CV Top1 从 91.1 提到 91.4。也就是说，通道激励用极小的代价换全局相关性，而不是靠堆模型深度。
有一点要在代码里注意：Squeeze 的 H、W 对应当前特征图的空间和时间维度。对空间模块来说，H 是关节数，W 是帧数；对时间模块来说，两个维度对应含义会变，但代码实现可以直接统一用全局平均池化处理。PyTorch 里 nn.AdaptiveAvgPool2d(1) 一行就能搞定，不需要把空间和时间分开写。
模块布局、残差投影、挤压激励三个点落下来后，模型已经是可在框架里搭建的完整计算图。接下来复现实验时，只需要按论文超参数把训练流程跑通。
4. 在公开骨架数据集上逼近 84.3 和 91.4：复现实验与结果对照
4.1 两个基准：CS 和 CV 怎么切分
实验使用的公开 3D 骨架数据集提供两个标准评价基准。第一个是 CS，按人物身份划分训练集和测试集，训练集约 40,320 个样本，测试集约 16,560 个样本，训练的人和测试的人没有重叠。第二个是 CV，按采集摄像机的视角划分，训练集约 37,920 个样本，测试集约 18,960 个样本。
两者考察的泛化能力不一样。CS 更看重模型对陌生人的动作表达能力，CV 更看重视角变化下的稳定性。论文实验里，CS、CV 分别汇报 Top1 准确率，可以同时看到换人和换视角两个维度上的表现。复现时注意：不要自己随意重切数据集。两个基准的样本划分是固定的，按别的条件划分得到的数字，和论文对照没有意义。
4.2 实验设置和超参数
论文的实验配置写得很具体，下面按可复现格式整理：
| 超参数 | 值 |
|---|---|
| 优化器 | SGD |
| Batch size | 16 |
| 迭代轮数 | 80 epoch |
| 初始学习率 | 0.1 |
| 学习率衰减 | 第 10、40、70 epoch 分别降为原来的 10% |
| 权重衰减 | 0.0001 |
| 激活函数 | ReLU |
| 运行环境 | 8GB 显存 GPU，32GB 内存，PyTorch 1.7.0 |
初看学习率 0.1，很多人会觉得偏高。这在 ST-GCN 系列里其实是常见设置。配上权重衰减 0.0001 和 SGD，三个阶梯衰减点能比较稳定地收敛。论文特意把基线 ST-GCN 的配置也改成同一套，而不是直接用原版开源代码里的默认参数，这一点很关键。对比实验要公平，就必须保证所有方法在同一学习率、同一批次、同一 epoch 数下跑，否则精度差异的来源不唯一。
我复现时一般会把训练过程中的 CS Top1 每 5 个 epoch 记录一次，画出曲线，重点看两个位置：前 10 个 epoch 是否正常下降，以及第 70 个 epoch 学习率再次降低后曲线是否有明显二次上扬。如果后一段曲线没动静，多半是学习率阶梯写错，或数据加载顺序有问题。
训练前的数据预处理也要对齐。我通常会做两步：先把骨架坐标减去髋关节中心，把每个序列拉到自己的人体坐标系；再做一次简单归一化。论文没有强调预处理细节，但不同代码仓库对坐标的处理方式不一样，这一项也经常导致复现结果差 1 个点以上。
4.3 和其他方法的对比
论文给出的最终对比结果如下，单位均为 Top1 准确率：
| 方法 | CV（%） | CS（%） |
|---|---|---|
| HBRNN | 64.0 | 59.1 |
| ST-LSTM | 77.7 | 69.2 |
| TCN | 83.1 | 74.3 |
| ST-GCN | 88.3 | 81.5 |
| IndRNN | 89.0 | 83.0 |
| Cross-Attention | 89.3 | 84.2 |
| FO-GASTM | 90.1 | 82.8 |
| ST-GCN+F-E | 91.4 | 84.3 |
表格最后一行就是论文最终模型。它比原始 ST-GCN 在 CS 上提升 2.8 个点，在 CV 上提升 3.1 个点；对比同一张表里其他代表性方法，CV 91.4 是最高值，CS 84.3 也属于第一梯队。更重要的是，性能提升的同时，模型参数从 310 万降到 70 万，模型大小从 12.19 MB 降到 2.96 MB，计算量从 16.32 GFLOPs 降到 3.51 GFLOPs。这个组合验证的不是“用更大的模型换精度”，而是“用更小的模型还能拿到更高精度”。
看这张表要留个心眼：部分方法（比如 Cross-Attention）在 CS 上接近 84.2，但模型结构和参数量没有在论文里公开，表格更多是同一数据集上的参考值，而不是严格同配置的消融比较。我自己做实验时，会把 ST-GCN+F-E 和原始 ST-GCN 的对比当作核心证据，其他方法只用于确认这个方向没有明显劣势。
复现到这里，模型和训练流程都比较清晰了，剩下的问题集中在工程实现上。
5. 重走论文时的五个常见问题排查
5.1 隐性连接学不到东西，注意力矩阵梯度是零
现象：训练了几十个 epoch，模型对不相邻关节的特征聚合没有明显变化，精度曲线和没加 B_k 时几乎一样。
原因：实现时把公式写成了 A × (M + B)，其中 A 是硬编码邻接矩阵。只要 A 里是 0，后面两项取出来以后还是 0，梯度无法回传到 B，B 从头到尾没有参与学习。
解决：严格按论文式 1 写 A + M + B，让 M 和 B 以加法形式进入，而不是和 A 做乘法。B 初始化保持 0，之后随训练正常更新。改完后可以打印 B_k 的 L2 范数，正常情况会随训练从 0 增加到非零值，这就说明隐性连接开始工作了。
5.2 直观判断 r=8 会更轻更快，结果反而掉点
现象：把通道减少速率调成 8，模型参数降到 36 万，但 CS Top1 从 82.8 掉到 81.0，比不压缩的 82.4 还低。
原因：通道过度压缩时，Transition 层丢失的信息无法被后续层完全恢复，骨干特征被掐窄了。
解决：按论文实验把 r 设为 4。如果业务场景确实需要继续压参，可以考虑把通道挤压激励的降维率从 16 调到 8，留出更多通道相关性信息，同时观察 Top1 是否能保持在 82 以上。r 不是一个可以无限缩小的线性参数，需要配合消融实验来决定。
5.3 推理时输出特别差，离线评测却正常
现象：训练阶段精度正常，导出到板子上之后效果突然变差，甚至接近随机。
原因：空间和时间模块里的 Dropout 没有在推理阶段关闭。模型转换时，Dropout 层被当成固定算子保留下来，也会出现同样问题。
解决：PyTorch 里确保 model.eval() 覆盖所有模块；导出 ONNX 或其他部署格式时，把 Dropout 层显式移除，或者给它一个固定为 1.0 的保留概率。我一般在转换前先遍历 model.modules()，确认没有处于 training 模式的 Dropout 残留。
5.4 复现精度比论文低 1.5 个点，问题出在数据集切分
现象：结构和超参数都对，CS 就是跑不到 84.3，稳定低 1 到 2 个点。
原因：把公开数据集的原始样本直接按目录顺序随机分成训练和测试，没有使用官方提供的 subject 编号和 camera 编号。
解决：读取数据时关联样本文件里的 subject ID 和 camera ID。CS 只按 subject ID 切，CV 只按 camera ID 切。如果文件命名顺序里有这两组编号，解析时不能只取序号，必须把对应 ID 一起读出来。
5.5 加了通道激励之后参数量对不上账
现象：按第 2、3 章的配置实现后，模型参数比论文多，尤其比 70 万参数这个数字明显偏大。
原因：把通道挤压激励里的降维全连接和升维全连接都按原通道实现，没按降维率 16 压缩中间维；或者 9 层每层都重复添加了这个模块，没有区分空间模块和时间模块两个插入位置。
解决：核对全连接中间维度等于当前通道数除以 16，只在论文指定的模块位置插入。参数对不上时，逐层打印每个 st-gcn 单元的参数名和参数量，和前面那张 GFLOPs 表逐项比较，不要只看整体总值。
6. 换到自己的骨架数据：改三处就能验证一个轻量化思路
6.1 替换数据维度和图关系
如果你想在自己的业务数据上试这个方案，不需要把公开数据集的结构硬套过来。第一处改动是输入维度：C×V×T 里的 V 换成自己骨架模型的关节点数，T 换成采样帧数，C 通常是坐标通道。第二处改动是图邻接关系：A_k 必须按自己的骨骼层级重新构建，每个关节点连哪些邻居，来自人体结构定义。第三处改动是分类头：Softmax 输出改成你自己的动作类别数。这三个位置改完，其它模块可以原样保留。
6.2 建议先做小批次验证
我一般会先拿 1 到 2 个类别、几十个样本跑通前向和反向，确认 shape 和 loss 正常，再接全量数据。这种小批次验证能提前暴露除数据以外的所有代码问题。和已有代码库对比时，固定随机种子，输入数据归一化方式也要对齐，骨架坐标的均值和方差如果不一致，精度差异可能超过 2 个点。
6.3 部署前的最后一遍走查
跑通训练后，导出模型前做三步走查：把 Dropout 固定为推理状态；将 BatchNorm 的 running_mean 和 running_var 置为训练结果；用一段固定输入比较 PyTorch 输出和部署框架输出，误差阈值设到 1e-3。这套走查对轻量级图卷积模型同样适用，最容易出问题的两个地方，就是导出时静默失效的 Dropout 和 BatchNorm。
我从这份 PDF 里收获最大的不是 84.3 这个数字，而是“单流模型把结构改对，也能同时拿到轻量和精度”这一点。从那以后，我每做一个轻量化改造，都会先冻结一份原始模型的逐层输出，改完一个模块就对比一次特征分布，确认没跑偏再继续，最后整体过验证集。这套习惯帮我挡下过不少表面好看、实际脆弱的改动。如果你打算在边缘端试这个方案，建议把这份 PDF 和模块结构图放在手边，逐层对照后再上板调试，踩坑成本基本能降到最低。希望帮到你。
本文还有配套的精品资源，点击获取
