很多朋友在《强化学习(一)》里把MDP、奖励、策略、值函数这些基础概念过了一遍，就急着去跑代码、调参数，结果十有八九卡在同一个地方：算法不收敛，或者跑起来了却完全达不到预期效果。你会开始怀疑到底是奖励函数没设计好，还是网络结构有问题，又或者是超参没调对。其实答案往往比你想的更底层——你选的算法家族本身就不适合当前问题。这也是我写这篇“强化学习(二)”的真正动机：把那些真正决定项目成败的进阶机制一次性讲透，而不是继续堆公式。
这篇内容会覆盖几个我近两年反复用到的核心方向：深度强化学习算法的选型逻辑、因果强化学习的核心机制（CRL到底怎么把因果推断工具嵌进强化学习流程）、IQL离线强化学习在大字段数据上的表现，以及多AGV路径规划这类落地场景里，Gazebo仿真环境到底该怎么搭、容易踩哪些坑。换句话说，这篇不是概念扫盲，而是把“从算法到落地”中间那段没人明说的经验补全。适合已经跑通过一个简单demo、准备把强化学习用到真实任务里的机器学习工程师和爱好者。
1. 强化学习算法家族的选择逻辑：别再只会调参，先选对学习范式
很多人一开始接触强化学习，都是从DQN入门的，结果做连续控制任务时发现DQN根本没法直接用，于是又去试PPO，发现效果也不行，就开始怀疑自己代码写错了。这里我想先给一个整体的地图，帮你看清当前主流算法到底落在哪个象限，然后再谈怎么选。
1.1 DQN家族：最直观的起点，但适用面比你想象中窄
DQN本质上是把Q-learning的表格换成了神经网络，用经验回放和目标网络来解决样本相关性和自举发散的问题。它的优势是思路简单、调试直观，特别适合离散动作空间，比如雅达利游戏、简单的网格寻路。但它在连续动作空间里基本无能为力，因为max_a Q(s,a)这一步没法对连续动作做高效枚举。
后续的Double DQN、Dueling DQN、Rainbow这些改进，都是在修正Q值高估、拆分优势函数V和动作优势A、或者改进采样优先级。如果你的状态空间不大、动作离散、环境确定性高，我建议直接上Rainbow这类成熟实现，比你自己在原生DQN上调参数快得多。
1.2 策略梯度与PPO：工程上最稳的“万金油”
策略梯度方法绕开了“先学Q值再导出策略”的间接路径，直接对策略做梯度上升。它天然适合连续动作空间，但原版的REINFORCE方差太大，很难直接用在复杂任务里。PPO的出现解决了这个问题，它用clip操作限制每次参数更新的幅度，让策略更新既快又稳。
我自己的经验是：在没时间细调超参的前提下，PPO几乎是最稳的起点。无论是机械臂控制、游戏AI，还是推荐系统模拟环境，PPO都能在合理时间内给出一个可用的baseline。你只需要把显影clip范围设在0.1到0.3之间，学习率从3e-4开始，通常就能跑通。
1.3 最大熵与SAC：样本效率的另一个极端
SAC（Soft Actor-Critic）用了最大熵框架，也就是在奖励之外还鼓励策略保持一定的随机性。这个熵项让它不会过早收敛到局部最优，探索能力特别强，样本效率明显优于PPO。代价是实现复杂度高，需要同时维护策略网络、两个Q网络和一个可学习的温度参数。
在有仿真环境可以大量试错的场景里，SAC往往能拿到比PPO更高的最终回报。但如果你的环境交互代价非常大，或者在线采样很慢，SAC的前期探索成本可能就让人受不了，这时候PPO反而更合适。
| 算法 | 动作空间 | 样本效率 | 稳定性 | 典型场景 |
|---|---|---|---|---|
| DQN家族 | 离散 | 中 | 中 | 棋类、离散控制 |
| PPO | 连续/离散 | 中低 | 高 | 机器人控制、游戏 |
| SAC | 连续 | 高 | 中高 | 仿真环境下的连续控制 |
| TD3 | 连续 | 高 | 中 | 高精度控制、双Q修正 |
1.4 我实际选型时的三个判断标准
第一个标准是看动作空间：离散优先DQN或PPO，连续优先SAC或TD3。第二个标准是看交互成本：仿真环境随便跑就选SAC，真实环境或采样昂贵就选PPO。第三个标准是看任务目标：如果只需要一个“能用的策略”而不是“最优策略”，PPO的鲁棒性会让你省很多事。
补充一个容易忽略的点——同一个算法在不同框架里的实现细节差别很大，比如Stable-Baselines3的PPO和Rllib的PPO在默认参数、网络初始化和向量化处理上都不一样。如果你发现同样的超参换了框架就不收敛，先别怀疑环境，去看看对方是怎么处理advantage归一化和GAE参数λ的，这才是最常见的差异来源。
2. 因果强化学习的核心机制：CRL怎么把“为什么”装进决策回路
经典强化学习体系里，智能体从数据中学习的是相关性：状态和动作的共现模式、奖励的条件期望。但真实环境的难点恰恰在于，很多相关性是虚假的，环境一变，策略就崩。因果强化学习（Causal Reinforcement Learning，CRL）近两年之所以火，就是因为它尝试把因果推断工具直接嵌进强化学习流程，去回答“如果不做这个动作、换做那个动作，结果会有什么不同”的反事实问题。
2.1 为什么强化学习需要因果结构
举个我实际调过的例子：在AGV调度中，A车经常跟在B车后面走同一条路径，最终A车任务完成时间更短。传统强化学习很容易学到“跟着B车走就是好的”，于是策略倾向于让所有车扎堆。但如果你看了因果图就会发现，A车快是因为它出发时间早、沿途充电点充足，而不是因为它跟在B车后面。忽略这个因果结构，策略一旦部署到新的仓库布局或新的订单分布里，表现会急剧下降。
因果结构在概念上很像人类做决策时的“因为所以”：我们不会因为观察到“带伞的人都没淋雨”，就推导出“带伞能阻止下雨”，而是知道带伞可以避免被淋湿这个因果关系。强化学习也需要这层区分，才能做到真正的泛化。
2.2 CRL嵌入强化学习流程的具体路径
从实现角度看，CRL并不是某个单一的算法，而是一套方法论。通常做法是先通过因果发现或者专家知识构建因果图，明确变量之间的因果方向；然后把因果图里得到的“干预分布”和“反事实样本”用到策略学习里。
比较常见的嵌入方式有三类：
- 在状态表示里加入因果不变量，让策略只依赖真正影响奖励的因果父节点，过滤掉虚假相关特征；
- 在奖励塑造中用因果效应替代单纯的相关性指标，比如评估某个动作对目标指标的增量影响；
- 在样本生成环节做干预模拟，生成反事实轨迹，让智能体看到“如果当时换一种动作，结果会是怎样”，从而避免被偶然的相关性带偏。
2.3 用do算子理解动作干预
因果推断里的do算子是CRL的核心工具之一。它要求我们思考的问题不是“看到动作A时回报是多少”，而是“强行执行动作A时回报会是多少”。前者是观察层面的条件期望，后者是干预层面的因果效应，两者在存在混淆变量时差异巨大。
在路径规划场景里，混淆变量可能是“当前时间段的拥堵程度”。你观察到高峰期走A路线成功率低，但高峰期本身也伴随着订单量高、路况差。如果用一个普通函数逼近去拟合Q值，就会把“高峰期”和“A路线”的效应混在一起。CRL的做法是把时间段单独抽出来作为干预变量，从而估计出A路线在控制拥堵因素后的真实因果效应。
2.4 我实践CRL的一点体会
坦白讲，CRL目前在工程界落地还属于早期阶段，因果图从哪来是个大问题。我的建议是：不要一上来就上全套因果发现，而是先基于业务经验画出最小因果图，再在策略网络里去掉非因果特征做对照实验。很多时候你会发现仅仅做“特征层面的因果筛选”，就能显著提升策略在新环境中的泛化能力。把这一步做稳，再去碰因果发现和反事实生成，会更靠谱。
3. 数据不够干净也不怕：IQL离线强化学习的关键思路
离线强化学习（Offline RL）解决的是“没有在线交互，只有一堆历史日志数据，能不能学出可用策略”的问题。这在真实工业环境里特别有吸引力，因为让智能体在线上随便试探的代价实在太高了。但离线强化学习有一个臭名昭著的拦路虎：分布偏移。
3.1 分布偏移问题到底出在哪里
离线数据里，我们通常只能覆盖一部分状态动作对。策略训练时，如果神经网络对某个动作的Q值产生了高估，策略就会倾向于选择这个动作，而下次又把Q值推得更高。这个自举过程会在几次迭代之内把策略推向数据分布以外的危险区域，最终学出一个看起来Q值很高、实际一点用都没有的假策略。
这个问题的本质是外推误差：模型对“没见过的动作”做了无根据的预测。在线强化学习可以在探索中及时纠正这类错误，但离线学习完全没有这个纠正机制。
3.2 IQL是如何绕过这个坑的
IQL（Implicit Q-Learning）的思路非常巧妙：它不去约束策略、也不去直接惩罚未知动作的Q值，而是只对数据中出现过的动作做Q值期望回归，浙大跟Google Brain的工作里，IQL用分位数回归来估计Q值上限，再用AWR（优势加权回归）的方式提取策略，天然避开了对OOD动作的依赖。
也就是说，IQL并不尝试给出没有见过的动作的精确Q值，而是把策略分布拉向“高奖励区域中被数据支持的那部分”，这样训练过程就不会被外推误差污染。很多实验表明，IQL在中等质量数据集上往往能拿到不输甚至优于CQL的结果，且对超参更不敏感。
3.3 实操中IQL需要注意的三个细节
第一，数据覆盖率比总量更重要。我在项目里发现，即使有一百万条轨迹，如果某些关键瓶颈区域完全没有数据，IQL照样学不会在那里该怎么办。第二，奖励的尺度会影响IQL表现，建议先做标准化或分位数变换。第三，IQL本质上需要一个质量还可以的行为策略作为底子——如果你的历史策略太随机、几乎没有有效决策信号，那再好的离线算法也救不回来。
另外我强烈建议用现成实现，比如d3rlpy库里的IQL模块，先拿标准数据集跑通，再迁移到自己的数据上。别从零手写，离线RL的隐性细节太多了，调试成本极高。
4. 多AGV路径规划与Gazebo仿真：从算法到工程的完整落地思考
最后这部分聊聊落地。多AGV路径规划是强化学习很典型的应用场景：任务动态到达、路径之间容易死锁、调度和路径需要联合优化。很多文章喜欢拿小规模的Grid World做演示，但真实仓库里的AGV车队完全不是那么回事。我建议的路线是：Gazebo仿真+ROS2接口+自建Gym环境，让算法在仿真里先跑出可信结果，再逐步往真实车辆迁移。
4.1 先把问题建模成标准强化学习框架
状态空间建议包含：每辆AGV的当前位置、当前速度、目的地点、任务队列长度，以及最近邻AGV的相对位置和速度。动作空间可以是高层调度指令（选择任务、选择路径候选），也可以是底层速度与转向控制。奖励函数至少要包含三个成分：
- 到达目的地给予正向奖励；
- 碰撞或进入死锁保护状态给予大惩罚；
- 每步施以微小时间惩罚，促使策略学会尽早完成任务。
这三个成分的权重比例需要仔细调：时间惩罚太大会让AGV为了快而频繁抢道，碰撞惩罚太大会让车辆原地不动。我一般先把碰撞惩罚设为-10到-20，每步时间惩罚设为-0.01，然后在仿真里看平均任务完成时间的变化趋势来微调。
4.2 Gazebo仿真环境搭建容易忽略的四个坑
第一，传感器噪声别一开始就关掉。很多人为了算法收敛顺利，把雷达和里程计的噪声全关掉，结果策略在仿真里非常激进，一上真车立刻翻车。第二，仿真速度太慢是常态。Gazebo体力模型加上多个激光雷达，单步推演往往到不了实时速度，建议用headless模式加统一时间步长，或者适当降低物理更新频率来换取吞吐量。第三，AGV的差速驱动模型要注意:仿真里车轮打滑和真实地面差别很大，轮速PID参数要单独验证，不能照搬ROS默认配置。第四，多AGV场景下的死锁检测需要单独写一个监控节点，否则强化学习环境中一个死锁就会卡住整个训练进程，这是我在项目中吃过的最大的亏。
4.3 多智能体训练的两种路线
第一种是集中式训练、分布式执行（CTDE），比如QMIX、MAPPO这类算法，理论上适合AGV协同调度，但实现复杂，调试成本高。第二种是更朴素的做法：把其他AGV的位置作为观测的一部分，仍然用单智能体算法去训练，这就是所谓的“把自己环境当对手建模”。我建议小规模车队先走第二种路线，把单智能体算法跑稳，再逐步增加AGV数量，观察策略是否出现性能骤降。如果性能骤降，再去上MARL算法不迟。
4.4 从仿真到现实的迁移经验
即便你把仿真做得再逼真，Gazebo里的物理引擎和真实世界的摩擦、延迟、传感器盲区还是有本质差异。最有效的迁移手段是域随机化：在仿真里随机化负载质量、地面摩擦、传感器噪声强度、任务发布时间，让策略见过足够多样的环境分布，而不是执着于某一个“精确”的仿真参数。
另外别忘了做“仿真到现实差距测试”：先在真车上用规则策略跑几条轨迹，记录真实的速度、转角、刹车距离，回填到仿真模型里校正参数。这个闭环往往比你在算法层面加多少花活都有效。
5. 写在最后的个人经验：算法不是瓶颈，工程细节才是
很多人学强化学习到第二篇这个阶段，最大的困惑往往是“算法学了不少，为什么项目还是推不动”。根据我自己的项目经验，绝大多数问题都不在算法理论上，而在工程细节里。AGV项目里真正让我头疼的不是PPO的clip系数该设多少，而是Gazebo里一个传感器TF坐标树配错导致训练数据全是噪声；离线调度项目里让IQL效果飙升的操作也不是改了网络结构，而是把历史日志里重复的轨迹做了一次去重和时序对齐。
所以我的建议是：选一个主流算法（PPO或SAC）作为主力baseline，把环境接口、状态归一化、奖励尺度这些基础设施建设好，再用CRL的思想做特征筛选，用离线学习做数据预训练，这条路是最稳的。如果你在某个环节卡住了，不妨回头看是不是传感器、坐标系、数据类型这类“脏活”出了问题——强化学习算法再强，也扛不住一份充满噪声的输入数据。
如果你正在考虑把强化学习用到实际业务中，我也多说一句：先别急着买昂贵的真实设备做试验，用Gazebo这类仿真器把问题跑通，再逐步加噪声、加随机性，等策略在仿真里具备一定抗干扰能力后，再往真机迁移。这套流程是我目前见过成功率最高的落地路径。
