简介：面向自动驾驶安全、计算机视觉与联邦学习交叉方向的学生和开发者，聚焦分心驾驶检测任务，提供基于VGG19、EfficientNet和ResNet50三种模型的Python实现，并在联邦学习框架中引入Shapley值与激励机制，适合用于毕业设计、课程设计、算法对比或项目初期演示。压缩包共21个文件，包含11个Python源码文件、3个Markdown说明文档、3张PNG示意图及txt依赖清单等辅助材料，整体约99KB，体积小巧；目录按数据生成、模型定义、联邦训练、工具函数、结果保存等模块划分，便于按需阅读和二次开发。目前已有151人学习下载。代码经作者测试运行通过，答辩评审平均分达96分；下载后可通过配套说明文档先理解整体流程，再针对模型、噪声数据生成与激励机制等关键环节做修改或复现，也可直接作为毕设、课设和答辩演示的完整参考。
1. 从一个车队数据不能出园区说起
做车载视觉的同行应该有共鸣：商用车队的分心驾驶视频基本拿不出园区，合规部门不批，数据Owner也不愿意把摄像头原始录像交给第三方；网约车平台之间更不可能共享司机面部视频。但分心驾驶检测模型又需要大量真实驾驶数据才能在小动作多、光线乱的场景里稳住精度。这个标题给的解法是把VGG19、ResNet50、EfficientNet三个主流的图像分类backbone塞进联邦学习框架，让每一份司机数据留在本地，各端只上传模型参数，服务端做聚合。这篇笔记把从数据集整理、客户端划分、FedAvg聚合到三类模型对比的完整路径展开，中间章直接给可跑的Python代码和超参建议。适合正在做车载视觉、边缘AI或隐私计算项目的工程师和研究生，也适合想把联邦学习落地到图像分类任务但还卡在框架验证阶段的人。
2. 为什么偏偏是联邦学习，以及三个backbone怎么选
2.1 分心驾驶数据天生不适合集中训练
分心驾驶检测的常规做法是收集车内摄像头画面，标注成正常驾驶、打电话、喝水、看手机等类别，然后训练一个图像分类模型。数据本身倒不复杂，复杂的是数据根本汇聚不到一个地方。车内摄像头画面属于个人生物特征数据，集中收集意味着要过隐私合规、跨公司数据协议、传输链路加密和存储安全几道关。联邦学习的价值恰好在这：模型参数在客户端本地更新，服务端只做聚合，原始图像不出设备。
分心驾驶场景还有一个特性让联邦学习特别合适：数据天然是Non-IID的。A车队的司机驾驶习惯偏高速，B车队的车辆以市内通勤为主，摄像头安装角度和车内光照条件也不同。如果强行把各方数据拉到一起，模型要同时适配这些分布差异，训练数据标注口径还不一定一致。联邦学习不要求数据同分布，每个客户端根据自己的数据做本地更新，服务端聚合后得到一个覆盖全局分布的模型。这个建模方式比中心化训练更贴合车端数据的真实形态。
训练框架上，联邦学习仍是以PyTorch或TensorFlow为底座的单机训练流程，只是多了一个参数聚合环节。PyTorch在这类任务里是常用选择，三个backbone都有现成的预训练权重，torchvision几行就能载入。环境就是常规的Python加PyTorch，不需要特殊的分布式集群，单机多卡甚至纯CPU都能跑通模拟实验。
2.2 VGG19、ResNet50、EfficientNet：三套backbone的取舍
这三个模型在这个标题里不是随便拼起来的，它们代表了图像分类backbone的三条路线，验证的也不是谁精度更高，而是联邦学习框架对不同模型结构的适应性。
VGG19的结构最规整，卷积层堆叠简单，预训练权重好找，任何一台机器都能载入。它的参数量很大，常用作联邦学习实验的baseline——先用它把整个pipeline跑通，再换更轻的模型对比效果。ResNet50的残差结构解决了深层网络的梯度衰减问题，收敛行为稳定，参数量适中，适合做精度优先但又不牺牲太多训练速度的实验。EfficientNet是神经架构搜索加复合缩放的产物，B0级别的参数量明显低于前两者，训练和推理开销小，更适合最终往车机端迁移。
三个模型对联邦学习的影响主要体现在通信体积和本地收敛行为上。每次联邦轮次客户端要上传整个模型的参数或梯度，VGG19一轮就要传上百MB的浮点数，EfficientNet则小一个量级。三个模型放一起对比，能直观看到模型大小如何影响联邦训练的通信开销。
参数对比表如下：
| 维度 | VGG19 | ResNet50 | EfficientNet-B0 |
|---|---|---|---|
| 参数量级 | 亿级（最大的那个） | 千万级 | 百万级 |
| 结构特点 | 深层卷积堆叠 | 残差连接 | 复合缩放+MBConv |
| 单机收敛速度 | 较慢 | 适中 | 快 |
| 迁移预训练权重难度 | 容易 | 容易 | 容易 |
| 联邦通信开销 | 高 | 中 | 低 |
| 适合角色 | baseline验证 | 精度优先 | 端侧部署 |
选型逻辑不复杂：先VGG19验证联邦框架和数据处理流程没有bug，再上ResNet50做精度对比，最后用EfficientNet验证轻量模型在同样聚合策略下的掉点幅度。三个模型共用同一个预处理和聚合代码，只是换一下模型构造函数，整个对比实验的工程量可控。
3. 数据准备：先把数据集整理成能喂给联邦学习的样子
3.1 从公开竞赛数据集到按司机划分的联邦客户端
分心驾驶检测最有名的公开数据集是State Farm竞赛数据集，网上有镜像可下。它按司机ID组织，每个司机的图片是连续的驾驶录像帧，标注为10类：c0正常驾驶，c1到c9对应打电话、喝水、化妆、操作中控等分心行为。用这个数据集做联邦学习实验有一个关键点：客户端必须按司机ID划分，不能按图片随机划分。
随机划分图片会让同一个司机的数据同时出现在多个客户端里，相当于人为抹掉了Non-IID特性，联邦学习和中心化训练的差异就体现不出来。按司机划分后，不同客户端的数据分布天然不一样，有的司机可能开车时很少喝水，有的司机频繁看手机，每个客户端内部的类别分布都是有偏的。
# 按司机ID划分联邦客户端，而不是随机打乱图片 import pandas as pd from collections import defaultdict df = pd.read_csv("train.csv") # label列: c0正常驾驶, c1~c9为分心行为 df["label"] = df["label"].str.replace("c", "").astype(int) # 以司机ID为粒度切分，保留真实场景的Non-IID特性 client_data = defaultdict(list) for row in df.itertuples(index=False): client_data[row.subject].append((row.img, row.label)) # 查看每个客户端的数据量和类别覆盖情况 for cid, items in client_data.items(): labels = {label for _, label in items} print(f"司机 {cid}: {len(items)} 张图片, 覆盖 {len(labels)} 类")这段代码会输出每个司机的图片数量和类别覆盖数。训练前要检查类别覆盖情况，如果某个司机只有两三张图片，这个客户端在联邦训练里的贡献基本是噪声。常见做法是设定一个数据量下限，比如少于20张的司机直接并入相邻客户端，或者从客户端列表剔除。这个数据量过滤逻辑写在数据准备阶段，不要等到训练时再处理。
3.2 图像预处理参数：三个模型共用一套归一化
三个backbone都基于ImageNet预训练权重初始化，预处理必须和预训练时的输入分布对齐，否则迁移学习的效果会大打折扣。统一用224x224输入，归一化均值取[0.485, 0.456, 0.406]，标准差取[0.229, 0.224, 0.225]，这是ImageNet预训练模型的通用参数。
from torchvision import transforms # 训练集：先放大再随机裁剪，模仿驾驶场景中目标位置的小幅偏移 train_tf = transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ]) # 验证集/测试集：直接中心裁剪，不做随机增强 val_tf = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ])训练集先Resize到256再做RandomCrop，是迁移学习里的常规操作，相当于给目标位置和尺度加了一点扰动。RandomHorizontalFlip对车内场景是合理的，因为左右手动作在镜像后仍然语义一致。不建议在联邦学习场景上AutoAugment或RandAugment这类强增强，原因后面避坑章节会展开：强增强会让每个客户端在本地数据上分布发散，聚合后反而掉点。
预处理完成后，每个客户端用自己的train_tf构建DataLoader，验证统一用val_tf，保证三个模型在同一个数据口径下比较。
4. 联邦训练框架：本地更新加FedAvg，跑通最小闭环
4.1 本地训练：每个客户端只改几轮就交回参数
本地训练的核心是控制更新幅度。联邦学习的常见误区是让每个客户端在自己的数据上训练到充分收敛，再回传模型。这会让客户端模型严重偏向本地数据分布，服务端聚合后得到的是一个四不像。正确做法是限制local_epoch，通常设为1到5个epoch，让客户端在全局模型的基础上做小幅修正。
import torch import torch.nn.functional as F def local_train(model, loader, lr=1e-3, local_epoch=1): model.train() # 微调阶段只更新分类头，骨干层冻结，减少通信参数量 opt = torch.optim.SGD(model.fc.parameters(), lr=lr, momentum=0.9) for _ in range(local_epoch): for x, y in loader: x, y = x.to(device), y.to(device) out = model(x) loss = F.cross_entropy(out, y) opt.zero_grad() loss.backward() opt.step() # 只回传state_dict，避免整个模型对象的序列化开销 return {k: v.clone() for k, v in model.state_dict().items()}这里有几个参数值得细说。学习率用1e-3而不是默认的1e-2或更大，因为联邦场景下每个客户端只训练几步，学习率过大会让更新步长不稳定。优化器用SGD加momentum，它在联邦聚合中的表现比Adam更平稳，Adam的自适应学习率容易让不同客户端产生较大差异的更新方向，聚合时互相抵消。train阶段只更新model.fc，因为在联邦模拟实验中，骨干层的预训练特征已经足够好，微调分类头即可完成分心驾驶分类任务。如果数据量充裕，也可以解冻更多层，但通信参数量会同步上升。
返回的是state_dict的克隆副本而不是模型对象，这一步是减少Python对象pickle开销的实际做法，在客户端数量一多的时候差距非常明显。
4.2 服务端聚合：FedAvg按样本量加权，客户端按比例采样
每个客户端完成本地训练后，把参数发给服务端。服务端不关心梯度，只关心参数，FedAvg的核心思想是对各客户端的参数做按样本量加权的平均。样本多的客户端本地更新贡献更大，权重自然更高。代码实现不复杂，难在理解为什么要按样本量加权而不是简单平均。
import random def fed_avg(global_dict, client_dicts, client_sizes): total = sum(client_sizes) new_dict = {} for key in global_dict: # 按样本量加权叠加，样本多的客户端影响更大 weighted = torch.stack( [cd[key].float() * (size / total) for cd, size in zip(client_dicts, client_sizes)] ).sum(0) new_dict[key] = weighted return new_dict for rnd in range(rounds): # 每轮按比例采样客户端，减少通信开销 sampled = random.sample(clients, max(1, int(len(clients) * client_fraction))) updates, sizes = [], [] for cid in sampled: loader = make_dataloader(cid, batch_size=32) # 每个客户端从同一个全局参数出发训练，保证聚合口径一致 updates.append(local_train(model, loader, lr=1e-3, local_epoch=1)) sizes.append(len(loader.dataset)) state_dict = fed_avg(model.state_dict(), updates, sizes) model.load_state_dict(state_dict) acc = evaluate(model, val_loader) print(f"round {rnd+1}: acc {acc:.3f}")这个循环是联邦学习的最小闭环。每轮开始前用random.sample从客户端列表中采样，client_fraction典型值是0.2到0.5，全量客户端参与在数据量大的时候通信压力太大，联邦学习的核心资源瓶颈就在通信。每轮采样后，被选中的客户端从当前的全局state_dict出发训练，保证大家更新同一个起点，这是FedAvg能够收敛的前提。最后按样本量加权聚合，载入全局模型，评估验证集准确率。
超参表如下：
| 参数 | 推荐值 | 调整方向 |
|---|---|---|
| local_epoch | 1~5 | 越大本地拟合越强，超过5容易灾难性遗忘 |
| client_fraction | 0.2~0.5 | 越小通信越省，但收敛更慢 |
| rounds | 50~200 | 看验证集是否进入平台期 |
| batch_size | 16~64 | 取决于客户端本地数据量 |
| lr | 1e-3 | 联邦聚合下不宜过大 |
这一套模拟代码跑通后，就已经具备联邦学习的基本框架了。接下来要解决的是实际操作中谁跑谁知道的问题。
5. 联邦学习训练避坑：收敛慢、灾难性遗忘和通信体积
5.1 客户端数据类别不全，本地模型偏置导致聚合后全局模型丢类
现象：聚合后验证集整体准确率还行，但某一两个分心类别的准确率特别低，有时直接归零。
原因：按司机划分客户端后，很多司机只覆盖了10个类别中的6到7个。某个客户端缺少喝水类别的数据，本地训练时分类头会把喝水样本错分到相近的叫打电话类别上，回传的参数带着这种偏置。服务端聚合时如果这个客户端样本量还不小，偏置就被放大到全局模型里。
解决：客户端划分后检查每个客户端的类别覆盖数，过滤掉类别数少于5的司机。如果数据实在少，每个客户端在本地训练时对分类头用类别加权损失，给样本少的类别更高的惩罚权重。这个检查写在数据准备阶段，不要在训练中途补救。
5.2 local_epoch设太大，联邦版灾难性遗忘
现象：训练初期准确率稳步上升，某几轮之后突然单类准确率断崖式下跌，再几轮又恢复，整体曲线像锯齿。
原因：local_epoch从1加到10后，每个客户端会在本地数据上反复拟合，模型逐渐遗忘其他客户端的数据分布。这个现象和单机训练里的灾难性遗忘机制一致，联邦场景下更隐蔽，因为每轮聚合会把不同程度的遗忘叠加到一起。
解决：先把local_epoch压回1到3，观察锯齿是否消失。如果还想加强本地拟合，优先调大rounds而不是调大local_epoch。另一种做法是给本地训练加一个proximal项，约束客户端参数不要偏离全局参数太远，在PyTorch里就是给loss加一项参数距离惩罚，改动很小但能明显改善稳定性。
5.3 BN层统计量在聚合后错位，EfficientNet掉点尤其明显
现象：VGG19和ResNet50聚合后验证准确率波动不大，EfficientNet一换上去，聚合后第一轮验证准确率掉5个点以上。
原因：BN层每个batch会更新running_mean和running_std，不同客户端本地数据分布不一致，回传的BN统计量五花八门。FedAvg直接对参数做加权平均，会把统计量也平均掉，导致全局模型在预测时用了一套和任何真实分布都不匹配的归一化统计量。VGG19没有大量BN层所以不明显，ResNet50有BN但数量少，EfficientNet里的MBConv块大量依赖BN，问题立刻暴露。
解决：一个做法是FedAvg聚合时跳过所以BN层的running_mean和running_std，聚合完成后在服务器端跑一遍训练集子集，重新估计统计量。更简单的做法是预测阶段用全局模型的BN参数不更新，并且聚合时对BN层参数做简单平均而不按样本量加权。
5.4 正常驾驶类别占大头，准确率虚高假象
现象：验证集整体准确率93%，看着已经能部署，一打开混淆矩阵，发现只是把大量正常驾驶样本全部猜对，分心驾驶类别平均召回率不到60%。
原因：State Farm数据集中c0正常驾驶的样本量远大于其他类别，联邦学习各客户端本地数据同样有这个不平衡。准确率被大类别拉高，模型实际对分心动作的识别能力很弱。
解决：评估指标改成两个——整体准确率只做参考，核心看分心类别c1到c9的平均召回率。训练时可以按类别重采样，让每个batch里每个类别出现的概率尽量均衡。这个技巧单机训练也适用，但联邦场景下还要确认重采样在各客户端本地完成，而不是在服务端，否则等于共享了数据分布信息。
5.5 通信体积超预算，一轮联邦训练要传几十GB
现象：用VGG19做实验时，每轮采样20个客户端，一轮训练结束后通信模块传输了超过2GB的数据，跑到100轮直接放弃。
原因：VGG19参数量亿级，PyTorch默认用float32存储参数字典，一参四个字节，单个客户端一轮更新就要传几百MB。联邦学习的瓶颈本来就是通信，模型越大越明显。
解决：项目里先用EfficientNet做高频实验验证超参，最后再用ResNet50和VGG19跑两轮对比精度。如果一定要用大模型，对上传的参数量化到8bit，能直接把通信体积砍到四分之一，精度损失在分心驾驶类别这个任务里可以控制在1个点以内。
6. 用分类别指标和部署边界收尾：三模型对比到底看什么
6.1 用每类召回率和混淆矩阵判定联邦聚合效果
别只看总准确率。联邦学习实验做完，第一件要跑的是分类别指标代码：
def per_class_recall(model, loader, num_classes=10): model.eval() correct = [0] * num_classes total = [0] * num_classes with torch.no_grad(): for x, y in loader: out = model(x) pred = out.argmax(1) for i in range(len(y)): label = y[i].item() total[label] += 1 if pred[i].item() == label: correct[label] += 1 return {i: correct[i] / max(total[i], 1) for i in range(num_classes)}这段代码输出10个类别各自的召回率。理想情况下，联邦训练的模型在正常驾驶类别上的准确率会很高，分心类别里打电话和看手机这类头部动作也好识别，真正要盯的是喝水、化妆、操作中控这类小幅度动作。三个backbone的比较结论一般会是：ResNet50的分类别召回率最均衡，EfficientNet在头部类别上和ResNet50接近，VGG19的总体表现略差且训练耗时最长。
6.2 三个模型的部署边界和再训练路径
VGG19适合只做pipeline验证，不建议作为最终方案，它一轮联邦训练的通信成本已经能说明问题。ResNet50适合精度优先、不迫切考虑端侧推理成本的场景，比如车队后台离线分析。EfficientNet则是往车机端部署的首选，它的参数量允许进一步量化到8bit，压缩后可以在低算力盒子上跑。如果这只是一个课题或课程项目，三模型对比做完，整个方案的技术路线已经完整了；如果是真实部署，建议把联邦训练的产物作为初始权重，在目标车队的一小块带标注数据上再做一次微调，效果会比直接使用聚合模型更稳。
我自己的习惯是每轮实验都跑这个分类别指标脚本，并把三个模型的指标、参数量、单轮通信体积整理到同一张表里再下结论。这套流程多跑几轮，你会发现联邦学习调参比单机训练更像玄学的地方，但先把数据和指标口径统一好，再谈玄学才有意义。希望帮到你。
本文还有配套的精品资源，点击获取
