基于强化学习DDPG算法的ACC自适应巡航控制器设计
这两年自适应巡航（ACC）算是被聊烂了，但大部分方案仍然停留在PID或者MPC的框架里。PID调参调到怀疑人生，MPC又对模型精度和算力要求极高，实际装车时要么跟车点头，要么在复杂车流里反应慢半拍。我自己的几个项目尝试下来，发现强化学习里的DDPG（Deep Deterministic Policy Gradient）算法确实能绕开不少传统控制器的毛病——它不需要精确的车辆逆模型，也不用手工标定一大堆阈值参数，直接通过奖励函数引导智能体自己摸索出一套跟车策略。这篇文章我就拿一个实际做过的ACC控制器设计项目来拆解，从算法原理、环境搭建、状态动作空间设计到奖励函数调优、训练踩坑，完整走一遍流程。适合正在做智能驾驶横向控制、纵向控制或者对强化学习落地感兴趣的同学参考，哪怕你只是刚入门强化学习，看完也能动手搭一个自己的ACC仿真环境。
1. 内容整体设计与思路拆解
1.1 为什么是DDPG，而不是PPO、DQN或者传统控制
先说明一下选型背景。ACC的核心任务说白了就是两件事：按照设定巡航速度行驶，同时与前车保持安全车距。这些约束是连续量，而且速度和加速度本身是连续动作空间。DQN这类基于离散动作的算法天生不适合，因为你没法把加速度分成几个挡位去逼近真实驾驶场景。PPO虽然能处理连续动作，但它是基于策略梯度的on-policy算法，样本效率偏低，训练一轮要采集大量轨迹，在车辆仿真环境里每步都要重新算动力学响应，成本一下子就上去了。DDPG走的是Actor-Critic加经验回放的路线，off-policy的特性让它可以反复利用历史样本，训练时的数据效率明显更高。
更重要的是DDPG的输出是一个确定的动作值——直接输出期望加速度，这对车辆纵向控制来说极其自然。车辆控制里我们都习惯给一个油门开度或者加速度指令，DDPG的结构刚好匹配这一点。相比之下，PPO输出的是动作分布（均值加方差），虽然灵活，但在工程落地时需要额外处理方差衰减、动作采样噪声等一堆细节。DDPG只要在训练阶段用OU噪声（Ornstein-Uhlenbeck noise）做探索，推理阶段直接拿Actor网络的输出，干净利落。
当然DDPG也有它的短板，最大的问题是超参数敏感和训练不稳定。项目里我会给出具体的应对策略，比如目标网络软更新参数tau的设置、经验池容量和批次大小的搭配、奖励函数如何避免稀疏激励导致的Q值震荡。这些细节直接决定训练能不能收敛到稳定跟车策略，后面我会展开。
1.2 ACC控制策略的层次拆分
传统ACC控制器从上到下一般分为三层：信息感知层、决策层、执行层。DDPG做的是决策层里最核心的“纵向运动决策”部分——根据自车速度和前车相对距离、相对速度，决策出一个期望加速度，再交给底层执行层的PID或者车辆动力学模型去跟踪。
这个拆分很关键。很多第一次做强化学习控制器的同学容易走一个误区：想让强化学习agent一步到位，直接输出油门踏板开度甚至刹车压力。这其实是给自己挖坑。车辆底层执行机构的响应延迟、非线性、机械摩擦这些因素会让动作空间变得非常复杂，agent要在高维异质的动力学环境里学一个端到端映射，难度指数级上升。我的做法是把DDPG的输出定义为期望加速度，物理范围比如[-3 m/s², 2 m/s²]，然后下层用一个简单的PID或者查表映射把期望加速度转换到油门和刹车指令。这样既保留了强化学习在策略层面的自适应性，又把底层控制的确定性抓在手里。
我实际测试下来，这个分层思路的另一个好处是方便在不同车辆模型之间迁移。换一辆车只要重调下层PID的执行层参数，DDPG决策层的策略不用大改。如果你直接学端到端油门刹车，换车就意味着全部重训。
1.3 仿真环境与工具链选型
做强化学习控制器，仿真环境是绕不开的一环。我用的工具链是Python + Gymnasium（OpenAI Gym的维护版本）+ 自定义车辆纵向动力学模型，强化学习算法部分基于PyTorch手动实现DDPG，不用现成的Stable-Baselines3。原因有二：一是方便自定义状态空间和奖励函数，二是DDPG本身的实现不复杂，手写一遍对理解算法内部机制大有帮助。
车辆纵向动力学模型我采用的是简化的点质量模型，用一阶惯性环节来模拟发动机和制动系的响应延迟。具体参数上，整车质量m取1500kg，风阻系数Cd取0.32，迎风面积A取2.2m²，滚动阻力系数f取0.015。这些参数不用非常精确，因为DDPG本来就是在模型不完全精确的情况下学习策略，只要趋势合理就行。前车的速度曲线用多个场景组合，包括匀速、正弦波动、紧急制动和启停工况，后面我会给出具体的时间函数表达式。
2. 核心细节解析与实操要点
2.1 状态空间与动作空间的定义
状态空间的设计直接决定了agent能不能学到有效的跟车策略。我试过很多组合，踩过不少坑，最后定下来的状态向量是四维：
- 速度误差：
v_set - v_ego，其中v_set是巡航设定速度，v_ego是自车当前速度 - 距离误差：
d_safe - d_rel，其中d_safe是期望安全距离，d_rel是实际相对距离 - 相对速度：
v_rel = v_lead - v_ego，前车速度减去自车速度 - 自车速度：
v_ego
这里有个容易忽略的细节：d_safe不是固定值，而是跟自车速度相关的动态目标。我采用的车头时距（time headway）策略：d_safe = v_ego * t_gap + d_min，其中t_gap取1.5秒，d_min取5米。这个策略模仿的是人类驾驶员“车速越快，跟车距离越大”的习惯。如果你把d_safe设成固定值，agent在低速工况下会学得很别扭，因为低速时安全距离本来就可以很短，但固定值会逼迫它始终保持一个较远的距离，导致频繁被其他车辆加塞。
动作空间就是一维的期望加速度。我限定在[-3, 2]m/s²。这里要注意：最大制动减速度不要设得太激进。很多同学上来就设-6甚至-8 m/s²，仿真里确实能刹得住，但实际车辆制动舒适性会非常差，而且训练出来的策略会倾向高频剧烈加减速。设-3到2这个范围，配合奖励函数里对加速度抖动的惩罚，能学出比较平顺的跟车行为。
2.2 DDPG网络结构与关键参数设置
Actor网络我用的是两层全连接结构：输入层4维，隐藏层各256个神经元，激活函数用ReLU，输出层1维，用Tanh把输出映射到[-1, 1]，然后乘上加速度范围系数得到实际期望加速度。Critic网络结构类似，输入是状态和动作的拼接（4+1维），隐藏层也是256个神经元，输出是Q值估计。
这里有个实现细节值得说一下：Critic网络的输入中，动作和状态的拼接时机。我的做法是在第一层隐藏层之后再把动作向量拼接进来，而不是在一开始就拼。这是DDPG论文里的一个小技巧，能够提升训练稳定性。很多初学者直接在最前面拼接状态和动作，效果会差一些，损失的曲线也更震荡。
关键超参数我列一下：
| 参数名 | 数值 | 说明 |
|---|---|---|
| Actor学习率 | 1e-4 | 偏低，保证策略更新平缓 |
| Critic学习率 | 1e-3 | 比Actor大10倍，加快Q值拟合 |
| 折扣因子gamma | 0.99 | 面向长期收益 |
| 软更新系数tau | 0.001 | 目标网络缓慢追踪 |
| 经验池容量 | 1e6 | 足够大，减少样本相关性 |
| 批次大小 | 128 | 折中稳定性和更新频率 |
| OU噪声theta | 0.15 | 探索的均值回归速度 |
| OU噪声sigma | 0.20 | 探索强度 |
关于学习率的搭配，Actor比Critic要慢一些，这个不是拍脑袋定的。Critic的任务是学一个准确的Q值估计，它需要更快地跟上真实的奖励分布；Actor的任务是基于当前Q值优化策略，如果更新太快，容易在Critic还没学准的时候跑偏，只能事后用软更新慢慢往回拉。这个“Critic跑得快，Actor跑得稳”的节奏搭配，是我试过多种组合之后比较稳定的方案。
2.3 经验回放与目标网络
DDPG的两个核心技巧——经验回放和目标网络——对稳定性至关重要。经验回放就是把每一步转移数据(s, a, r, s', done)存入一个环形缓冲区，训练时随机采样一批样本。好处是打破样本之间的时间相关性，防止网络被连续出现的相似样本带偏。这个在车辆控制里特别重要，因为仿真中连续几步的驾驶状态往往是高度相关的，前一步跟车距离近，下一步大概率也近，如果不打乱采样，网络会在某个局部状态上过拟合。
目标网络则是为了解决Q值更新的“自举”（bootstrapping）问题。TD目标r + gamma * Q_target(s', a')里的Q值来自网络自身，如果直接用同一个网络同时计算目标又更新自己，会形成正反馈震荡，就像一个人追着自己的影子跑。DDPG的做法是维护一套滞后更新的目标网络，每步用软更新方式向主网络靠近一点：
theta_target = tau * theta_main + (1 - tau) * theta_targettau取0.001意味着目标网络需要大约1000步才完全跟上主网络，这个滞后让训练过程稳定很多。我在用这个公式的时候没有直接照搬，而是先把目标网络初始化为和主网络相同的权重，再开始训练，这一步能减少早期的不稳定跳变。
2.4 奖励函数的构造思路
奖励函数是DDPG做ACC的灵魂，直接决定了学出来的驾驶风格。我最终采用的奖励形式是分项组合：
- 距离奖励：
r_dist = -exp(-|d_rel - d_safe| / 5)，越接近期望跟车距离奖励越大 - 速度奖励：
r_speed = -|v_set - v_ego| / 10，车速越接近设定速度奖励越大 - 舒适性惩罚：
r_jerk = -0.5 * (a_now - a_prev)²，加速度变化幅度越小越好 - 碰撞惩罚：
r_collision = -100，发生碰撞或距离小于安全最小值时给出强惩罚 - 效率奖励：
r_progress = 0.1 * v_ego，鼓励合理地保持较高车速行驶
这里有个权重设计的体会：距离和速度奖励的尺度要匹配好。一开始我把距离误差和速度误差都用线性绝对值表示，结果agent经常在某个局部状态上纠结，因为距离差的数值范围（可能达到几十米）远大于速度差（一般不超过20m/s），导致量级不一致，距离项主导了梯度。后来统一用归一化的指数形式，把误差通过除以固定系数压到0到1左右的范围，训练马上就稳了。
舒适性惩罚的权重也不要设太大。我试过把jerk项的系数设为2甚至5，结果策略变得异常保守，加速和刹车都特别慢，在启动工况下半天提不起速度，后车疯狂按喇叭。0.5这个值能在平顺性和响应速度之间取得平衡。
3. 实操过程与核心环节实现
3.1 搭建车辆纵向动力学仿真环境
我定义了一个ACCDDPGEnv类，继承自Gymnasium的Env。环境的核心是更新自车运动状态，主循环逻辑如下：
class ACCDDPGEnv(gym.Env): def __init__(self, dt=0.1): super().__init__() self.dt = dt self.m = 1500.0 # 整车质量 kg self.Cd = 0.32 # 风阻系数 self.A = 2.2 # 迎风面积 m^2 self.f = 0.015 # 滚动阻力系数 self.g = 9.8 self.v_set = 30.0 # 巡航设定速度 m/s（约108km/h） self.t_gap = 1.5 # 车头时距 s self.d_min = 5.0 # 最小安全距离 m self.action_scale = 3.0 # 加速度范围参数 # 状态边界：速度误差、距离误差、相对速度、自车速度 self.observation_space = spaces.Box( low=np.array([-20, -50, -30, 0]), high=np.array([20, 50, 30, 40]), dtype=np.float32 ) self.action_space = spaces.Box( low=np.array([-self.action_scale]), high=np.array([2.0]), dtype=np.float32 )自车的运动学更新需要考虑惯性延迟。直接用v_next = v_current + a * dt太理想了，实际车辆对加速度指令的响应存在一阶滞后。我在环境里引入了一个延迟模型：
def _update_vehicle(self, action): # 期望加速度，限制在[-3, 2] m/s^2 a_desired = float(np.clip(action[0], -3.0, 2.0)) # 一阶惯性延迟，时间常数0.3s self.a_actual += (a_desired - self.a_actual) * (self.dt / 0.3) self.v_ego += self.a_actual * self.dt self.v_ego = max(0.0, self.v_ego) # 前车运动更新：根据场景配置的速度函数 self.v_lead = self._lead_speed_profile(self.t) self.x_lead += self.v_lead * self.dt self.x_ego += self.v_ego * self.dt self.d_rel = self.x_lead - self.x_ego self.t += self.dt前车速度曲线我用的是多段组合模式，模拟不同驾驶场景：
def _lead_speed_profile(self, t): if t < 10: return 25.0 # 前车匀速25m/s elif t < 20: return 25.0 + 3.0 * math.sin((t - 10) * 0.5) # 正弦波动 elif t < 30: return max(0.0, 25.0 - 5.0 * (t - 20)) # 减速至停止 else: return 0.0 # 前车停止这个速度曲线覆盖了典型的巡航场景：前方稳定行驶的中速车流、速度波动的动态车流、前车刹停的城市工况。训练时我还会随机调整前车初始速度和波动幅值，避免agent对某一固定模式过拟合。实际上，如果前车曲线固定不变，训练后期agent几乎能背下来整个场景的时序，测试换个场景就废了。随机化前车配置是让策略具备泛化能力的最低要求。
3.2 手写DDPG算法核心代码
我的DDPG实现分两个类：ActorNetwork和CriticNetwork，再加上一个DDPGAgent把他们组合起来。
class ActorNetwork(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.fc1 = nn.Linear(state_dim, 256) self.fc2 = nn.Linear(256, 256) self.out = nn.Linear(256, action_dim) self.tanh = nn.Tanh() def forward(self, state): x = F.relu(self.fc1(state)) x = F.relu(self.fc2(x)) return self.tanh(self.out(x)) * 3.0 # 映射到[-3, 3]注意Actor的输出层我用Tanh把原始输出限制在[-1,1]，再乘以3.0映射到[-3, 3]。这里有一个细节：我故意把上限也设为3.0，但在环境里做clip到2.0。为什么？因为如果直接映射到[-3, 2]，Tanh的输出会偏向一侧，导致梯度在边界附近不够顺畅。让网络的输出范围稍微宽于实际执行范围，然后把约束交给环境处理，训练反而更稳定。这是我在多次实验里总结出的一点心得。
Critic网络的关键在于动作的接入方式：
class CriticNetwork(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.fc1 = nn.Linear(state_dim, 256) self.fc2 = nn.Linear(256 + action_dim, 256) self.out = nn.Linear(256, 1) def forward(self, state, action): x = F.relu(self.fc1(state)) x = torch.cat([x, action], dim=1) # 第二层拼接动作 x = F.relu(self.fc2(x)) return self.out(x)Agent类的核心是update()方法，每采样一条数据就更新一次：
def update(self): if len(self.replay_buffer) < self.batch_size: return states, actions, rewards, next_states, dones = self.replay_buffer.sample(self.batch_size) # 计算TD目标 with torch.no_grad(): next_actions = self.actor_target(next_states) target_q = self.critic_target(next_states, next_actions) td_target = rewards + self.gamma * (1 - dones) * target_q # 更新Critic current_q = self.critic(states, actions) critic_loss = F.mse_loss(current_q, td_target) self.critic_optimizer.zero_grad() critic_loss.backward() self.critic_optimizer.step() # 更新Actor actor_loss = -self.critic(states, self.actor(states)).mean() self.actor_optimizer.zero_grad() actor_loss.backward() self.actor_optimizer.step() # 软更新目标网络 self._soft_update(self.actor_target, self.actor, self.tau) self._soft_update(self.critic_target, self.critic, self.tau)Actor的损失函数直接取-Q(s, μ(s))。这里的逻辑是：critic会告诉我们当前状态下采取什么样的动作能获得更大的Q值，actor就要往那个方向调整参数。负号把最大化问题转成最小化问题。这个更新方式和策略梯度算法有本质区别——DDPG用Q值的梯度来指导actor更新，而不是用带权重的采样轨迹来估计梯度，这也是DDPG样本效率更高的原因。
3.3 训练循环与探索策略
训练循环的标准结构是：每个episode开始时重置环境，agent根据当前策略加OU噪声选择动作，与环境交互收集转移数据存入经验池，每步（或者每隔几步）更新一次网络参数。我采用的是每步更新，因为经验池够大，每步更新不会引入太多相关性，训练收敛速度更快。
OU噪声是一个时间相关的随机过程，和简单的高斯白噪声不同，它能让动作在一段时间内保持相同的趋势方向，这对于探索车辆的速度-距离空间非常有效：
def ou_noise(self, action): self.noise = self.theta * (self.mu - self.noise) + self.sigma * np.random.randn() return np.clip(action + self.noise, -3.0, 2.0)theta取0.15意味着噪声会以一个较慢的速度回归到均值，让agent在一段时间内偏向某个方向探索，比如持续轻微加速或者持续轻微减速，这比每一步独立采样的高斯噪声更能覆盖到状态空间的连续区域。
训练时我划分了“探索期”和“利用期”。前5万步，sigma设为0.2，agent充分探索各种加减速行为；5万步之后sigma逐步降低到0.05，让策略开始收敛到奖励定义的“最优行为”。这里有个经验值：完全零噪声的时刻要等训练后期，在训练前期就关闭噪声的话，agent很容易卡在局部最优上，比如始终不敢刹车、或者始终跟车距离过远。
3.4 训练结果与评估指标
我的实验参数下，总共训练了30万步，大约花了一个半小时（单卡CPU环境，环境本身计算量不大）。每500步记录一次平均累计奖励和平均回合长度。
训练曲线的形态值得关注。正常收敛过程是：前5000步，累计奖励在-500到-300之间剧烈震荡，此时agent经常发生碰撞或者偏离目标速度；1万步到8万步之间，奖励逐步爬升到-100附近，此时agent已经学会了基本的加减速来避免碰撞，但距离保持还不精确；8万步之后曲线进入平台期，奖励稳定在-50左右，策略趋于稳定。
碰巧的话你可能会遇到“奖励突然跳水”的情况——已经收敛到一个不错数值，突然掉回-200，然后慢慢恢复。这是DDPG的典型不稳定现象，Q值高估导致的策略崩溃。我的经验是：遇到这种情况不用急着调参，在平台期继续训练一段时间通常会自己恢复。如果反复出现，就需要调低critic学习率或者增大soft update的tau值（也就是让目标网络更新得更慢），或者增大经验池容量。
评估阶段我采用两个补充指标：一是平均跟车距离误差（MAE），二是有无碰撞。我在测试场景里跑20轮，计算平均距离误差，收敛后的结果大约在2-3米左右，碰撞次数为0。这个表现用来对比传统的固定车头时距策略，在速度波动场景下，传统策略的距离误差在4-5米，DDPG的误差更小，而且速度恢复也更平顺。
4. 常见问题与排查技巧实录
4.1 训练不收敛：奖励一直徘徊在很差水平
最常见的原因不是算法问题，而是状态空间的量纲差异。DDPG的神经网络对输入特征的尺度非常敏感。如果自车速度是0到30m/s，而距离误差是-50到50m，两者同时进入网络，距离通道的梯度贡献会盖过速度通道。解决方案是在环境层做状态归一化，把所有观测量压缩到[-1, 1]或[0, 1]区间。不要把这步放在网络结构里做，而是直接对进入经验池的状态做处理，这样经验池中存储的也是归一化后的数据，避免每次采样还要重新计算。
第二个原因是奖励函数过于稀疏。如果只在碰撞时给惩罚，其他时候都接近0，agent在早期根本不知道该往哪个方向调整策略。DDPG本质上需要密集的、能指示方向性的奖励信号。我建议距离和速度奖励一定要拆开给出，并且让每一个step都能产生非零的奖励信号。
4.2 策略震荡：跟车距离忽远忽近
如果你发现训练收敛后，agent的行为是反复加速-刹车-加速-刹车，大概率是奖励函数里缺少对加速度变化率的惩罚。DDPG学出来的策略如果没有平滑性约束，会倾向于用高频动作来快速调整误差，这在远距离跟踪时尤其常见。
增加jerk惩罚项可以解决，但要注意加权系数。我试过0.2和0.5两个值，0.2的情况下震荡只是减轻但没有消失，0.5的情况下行为明显平顺，但起步变慢。如果你特别关注舒适性，可以考虑把惩罚项改成相对变化率而不是绝对变化量，即(a_now - a_prev) / (dt * 3)，这样时间步长变大时惩罚更明显，行为更平滑。
4.3 Q值发散：Critic loss越训越大
DDPG的一个臭名昭著的问题是Q值高估，源于critic对未见动作的Q值外推误差。常见表现是critic loss在一段时间内正常下降，然后突然爆升到几千上万。这通常是奖励函数中某些项的量级过大，或者网络容量不足导致。
我的排查顺序是：先检查奖励值本身的合理范围，确保单步奖励在-10到+10之间，避免奖励数值过大让TD目标震荡；再检查critic输出量的范围，在训练中打印current_q.mean()和target_q.mean()，如果数值远大于理论值（理论上Q值上限在奖励上限除以1-gamma，如果单步奖励上限+5，gamma=0.99，则Q值理论上限约500），就需要考虑降低奖励幅度或者调低gamma。
还有一种更隐蔽的原因：Actor的输出层使用了Tanh，但环境的动作边界恰好是Tanh的输出饱和区，会导致梯度消失。我在前面提到的“让网络输出范围略宽于环境动作范围”的trick就是为了避免这个问题。
4.4 训练浪费在无意义的探索上
初始阶段如果agent一直在原地踩油门或者疯狂换挡式的加速减速，训练效率极低。一种有效手段是做行为克隆（behavior cloning）预训练。先用一个简单的PID控制器跑几十轮仿真，收集(state, action)对，用监督学习方式预训练Actor网络，再切换到强化学习的奖励信号训练模式。
我在这个项目里试过这个方案，预训练只用了大约3000条数据，就把Actor训练到了“至少不会大错”的初始状态，后续DDPG训练收敛时间缩短了差不多30%。如果你手头有一个可用的传统控制器，强烈建议做这一步，能让训练过程省掉一大段瞎撞的时期。
4.5 仿真和实车差距太大
即便是在同一个仿真环境里训练效果理想，部署到实车时也会有动力学差异。这里我的建议是“仿真环境不要追求过度理想”。不用把轮胎模型、悬架模型都建出来，但一定要把执行器延迟和加速度上下限做在环境里。因为DDPG学到的策略本质上是适应环境动力学特征的，如果仿真里油门踩下瞬间就能达到期望加速度，但实际车辆有0.2秒延迟，那么推理时输出的加速度指令就会超前，导致控制效果退化。
简单的一阶惯性环节（我上面代码里的0.3秒时间常数）已经能涵盖大部分执行延迟。实测中，这个简化模型配合下层PID执行器，在仿真和实车之间转移的效果比完全理想模型好非常多。
5. 实操心得与扩展建议
5.1 DDPG做ACC的几个成功关键
如果只让我说三条经验，第一是状态空间里一定要放速度误差和距离误差这两个相对量，它们比绝对速度、绝对距离更能描述跟车场景的本质特征，也更容易让strengthen learning学到不变策略；第二是奖励函数加权系数远比网络结构重要，我花了超过一半的调参时间在改奖励权重上，网络结构和学习率的调整反而次数更少；第三是对超参数要有耐心，DDPG不像PPO那样对超参数稍微敏感一点点就崩，但是要是哪天看到损失函数爆炸，先不要否定整个方案，从经验的超参数组合重新出发。
在项目管理的角度，我建议任何做类似的强化学习驾驶员模型的团队，都要建立一个可控的评估协议。不要只看训练曲线，要留出一部分固定的测试场景，在训练过程中定期用于推理（不带噪声），记录跟车误差、碰撞次数、舒适性指标。我的做法是每5000步跑5轮测试场景，输出一个评估报告。这样能快速发现策略退化和过拟合问题，防止训练后期被奖励函数"带偏"。
5.2 进一步扩展的可能性
这个项目目前的场景还局限于单前车的纵向跟车。自然地扩展方向是可以加入换道场景、多目标选择（例如前方突然插入车辆时，应该在多个目标之间切换跟踪优先级）、考虑交通信号约束等。更进一步的是把决策从单一的期望加速度扩展到“期望加速度加换道意图”的多维动作，这会让模型更接近真实驾驶任务的复杂度。
还有个我自己一直想做的改进：把DDPG中的Critic训练方式改成分布式架构，比如用Crritc分布式估计的方式降低Q值高估问题，而不是简单用目标网络。虽然会大幅增加实现复杂度，但对于ACC这类对安全边际要求极高的场景来说，减少Q值高估等价于减少决策中的危险激进行为，回报值得投入。
5.3 小技巧分享
最后分享一个很实用的小技巧：在训练完成后，导出Actor网络为ONNX格式，部署时不用携带整个PyTorch运行时。动作网络本身只是一个全连接神经网络，ONNX推理的延迟在普通工控机上能控制在1毫秒以内，完全可以满足10Hz到20Hz的ACC控制周期需求。我在部署时还顺手做了一步推理输入的标定——确认状态归一化的均值方差和训练时完全一致，不然模型在实车上推出来的动作会完全乱掉。这个看起来琐碎的细节，坑了好几个同事了。
有一次在测试中，状态归一化参数忘记保持一致，结果车辆明明在高速上，模型却以为自己在做急刹车后的启动加速，输出怪异的动作序列。排查了半天才找到是归一化的参数没有随模型一起保存和加载。所以，保存模型的同时，一定要把环境的状态边界和缩放参数一并打成一个配置文件，部署时先校验型号再加载权重，这比什么都重要。
