决策算法是自动驾驶的大脑，它决定了车辆在复杂交通环境中如何行动。这篇内容适合自动驾驶算法工程师、决策规划方向的从业者、以及刚入行想了解决策模块全貌的研究者。我会从方案选型、数据集构建、仿真与实车验证等几个维度，展开聊聊我在实际项目中对决策算法的一些思考。
1. 决策模块在整个自动驾驶系统中的位置
很多人一提到自动驾驶算法，首先想到的是感知——摄像头识别车辆行人、激光雷达点云分割、毫米波雷达目标跟踪。这很正常，因为感知是视觉上最直观的部分，而且感知的效果直接决定了系统的能力上限。但实际上，从系统的角度看，决策规划才是真正决定“这辆车开得对不对、稳不稳、像不像老司机”的模块。
一个完整的自动驾驶系统通常可以拆解为三层：
- 感知层：负责回答“周围发生了什么”，输出障碍物列表、车道线、交通信号灯状态等。
- 决策规划层：负责回答“接下来该怎么做”，包括行为决策（变道/跟车/让行）、轨迹规划（生成一条具体的路径和速度曲线）。
- 控制执行层：负责回答“怎么执行得准”，将规划好的轨迹转化为方向盘转角、油门和刹车指令。
决策模块夹在感知和控制之间，是一个承上启下的枢纽。感知给了你世界的“快照”，决策要在这个不完美且有噪声的快照上，做出安全、合规、舒适、高效的驾驶行为。控制层的执行能力再强，如果决策层给了一条不合理的轨迹，整车表现依然会非常糟糕。
我在实际项目中最大的感受是：决策问题是典型的“知道问题比解决问题更难”的领域。感知的问题比较显性，模型效果不好，量化指标一目了然，改了网络结构或者清洗了数据，可能就有直观提升。但决策的问题非常隐蔽——系统的行为是组合涌现出来的，一个决策逻辑只在特定场景下才会出问题，而且很难通过离线指标完整评估。
所以这篇文章我想重点聊聊在决策算法选型和落地过程中，真正值得花时间思考的几个问题：方案怎么选、数据怎么造、仿真怎么用、以及从仿真到实车的鸿沟怎么跨。
2. 决策算法方案选型的核心逻辑
自动驾驶决策算法的主流路线，业内基本可以分为三大类：基于规则的方法、基于学习的方法、以及规则与学习融合的混合方法。这个分类看起来简单，但选型背后的逻辑非常值得展开，因为不同路线对算力、数据、可解释性、安全验证的要求完全不同。
2.1 基于规则的方法：成熟度最高，但上限明显
基于规则的方法，核心思想是把驾驶行为拆解成一系列离散的状态和条件判断。典型如有限状态机（FSM）——车辆处于跟车状态、变道状态、通过路口状态，根据触发条件在这些状态之间跳转。
规则方法的优点非常突出：可解释性强，每条决策逻辑都可以追溯到具体的代码和需求；调试方便，出了问题直接看状态转移逻辑就能定位；对算力要求低，不需要昂贵的GPU推理；安全可控，可以通过穷举场景来验证规则覆盖度。
但规则方法的瓶颈也很明显——长尾场景覆盖不足。真实驾驶中的场景组合几乎是无限的，两车同时抢道、行人突然从遮挡物后窜出、前车急刹加后方车辆近距离切入，这些情况你用规则去枚举，规则数量会爆炸式增长，而且规则之间还可能互相矛盾。我在一个项目中就碰到过：跟车规则要求保持安全距离，变道规则要求寻找合适间隙，当相邻车道后车加速冲上来时，两条规则出现了冲突，系统在犹豫中错失了变道窗口。
这个问题本质上不是规则写得好不好，而是规则范式本身的局限性——它假设世界可以用有限的状态和条件来建模，但真实交通场景是连续变化的，很难用离散状态完全刻画。
2.2 基于学习的方法：上限高，但落地难点多
基于学习的方法，尤其是深度强化学习（Deep Reinforcement Learning, DRL），这几年在学术界非常火。思路是让智能体在仿真环境中通过试错学习驾驶策略，输入感知信息或鸟瞰视角（BEV）表达，输出动作或轨迹。端到端驾驶模型更是直接把传感器输入映射到控制指令，感知和决策不再有明确的分界。
学习方法的优势在于：可以自动发现人类驾驶员难以显式描述的策略；对高维连续状态的处理能力远超规则系统；理论上可以覆盖规则方法难以枚举的复杂场景。
但落地难点也非常现实。首先，可解释性极差——神经网络是一个黑箱，给出了一个决策动作，我们很难说清楚它为什么这么做，这在安全攸关的自动驾驶领域是巨大的信任障碍。其次，训练需要海量高质量的交互数据，而真实路采数据中安全问题太少了，模型见过的好行为多、坏行为少，遇到危险场景根本不知道怎么应对。最后，策略的边界难以界定——你无法证明一个学习出来的策略在所有可能输入下都是安全的。
我还记得第一次跑通一个DRL变道模型时的心情，它在仿真里表现惊艳，能处理各种复杂交互。但把它接到完整系统里测试时，发现一个致命问题：训练时用的state表达和实际感知模块输出之间存在distribution gap，感知的检测噪声让模型完全不知所措。这个教训让我意识到，学习算法不能孤立地训练，必须端到端地与感知噪声特性联合考虑。
2.3 混合方案：业界的主流实践
目前业界的主流做法，其实是规则和学习混合，而且混合的粒度各不相同：
- 用规则做行为决策（决定变道/跟车），用学习做轨迹生成。这种方案保留了行为层的可解释性，同时让轨迹更自然。
- 用规则做安全兜底，用学习做复杂交互策略。在简单场景下信任学习策略，在风险场景强制切换到安全规则。
- 用学习做场景识别和意图预测，用规则做最终决策。相当于用学习增强规则系统的感知和理解能力，但不让它直接发号施令。
从我接触的项目来看，纯规则或纯学习的方案都存在明显的天花板，混合方案是目前最务实的路线。关键在于找准学习和规则各自的边界——学习擅长处理模糊的、难以用规则描述的感知理解任务，规则擅长处理需要确定性保证的安全和合规任务。
3. 决策数据的构建：数据是决策算法的灵魂
关键词里提到了“自动驾驶数据集”，这确实是决策算法绕不开的核心话题。感知模型需要标注数据，决策模型的训练和验证同样需要数据，但决策数据的特点和感知数据有本质区别。很多团队把感知数据的构建经验直接套到决策数据上，结果踩了不少坑。
3.1 决策数据与感知数据的本质区别
感知数据的核心是“静态事实标注”——这张图里有什么物体，在什么位置，什么类别。标注结果有明确的金标准，人看一眼就能标得比较准。一张图里有一辆车、一个行人，这是客观事实，标注方差小。
决策数据的核心是“行为合理性标注”——在某个具体场景下，什么样的驾驶行为是合理的、可接受的、安全的。这个问题没有唯一标准答案。面对一个两难场景，保守的驾驶员会选择减速等待，激进的驾驶员会选择加速通过，两者可能都是合理行为，只是风格不同。
这就带来两个关键问题：
- 数据分布的多样性：单条数据无法给出绝对正确的标签，需要大量不同版本的合理行为来覆盖决策空间。
- 评价的困难性：无法简单地用准确率/召回率来评估决策模型的好坏，需要在场景层面进行多维度的评价。
这个区别是决策数据构建所有难点的根源。我们在做数据方案时，第一件事就是给团队统一认知：不要试图找“正确答案”，而是采集和标注“合理行为的分布”。
3.2 决策数据的主要来源与生产流程
自动驾驶决策数据大致有三个来源，各有优缺点。
第一个来源是自然路采数据。装上传感器套件的测试车辆在日常道路上行驶，记录下真实的交通场景和驾驶员操作。这类数据最真实，反映了实际道路的复杂性和驾驶员应对各种情况的策略。但问题在于：危险场景极少出现，数据95%以上都是平淡无奇的直行、跟车，决策模型从中能学到的有效内容非常有限；而且大规模路采成本极高，需要配备安全员、维护车队、处理海量数据存储。
第二个来源是仿真数据。在仿真环境中设定各种场景参数，批量生成决策训练数据。这类数据可以定向生成——想要大量前车急刹场景，就批量造；想要车辆切入场景，就密集生成。成本远低于实际路采，而且天然带有完整的场景标签。缺点是仿真环境与真实世界的渲染差异、物理特性差异，会让训练出的策略在实车使用中出现“仿真鸿沟”，需要在数据生成时加入传感器噪声模拟、物理引擎校准等手段来减弱这种差异。
第三个来源是数据增强。基于真实路采数据，通过参数扰动、场景组合的方式生成变体。比如把两个不同地点的场景拼接在一起，或者在真实场景基础上加入额外的虚拟交通流。这种方式能有效扩充数据量，但增强后的场景可能不符合真实的物理和交通逻辑，需要仔细甄别。
在实际项目中，我倾向于采用“路采数据+仿真数据”双轨制：路采数据保证基础分布的真实性，仿真数据针对长尾场景进行定向补充。两者的比例需要根据模型的使用场景动态调整：以城市道路为主，路采和仿真的比例大约是6：4；以高速公路为主，仿真数据的比重可以提升到50%以上。
3.3 决策数据标注的实践难点
前面提到决策数据存在“合理行为分布”的特性，这在标注环节体现得淋漓尽致。给感知模型标注，可以招一批标注员，培训几天就能上岗。给决策数据做标注，难点不在于“框出目标”，而在于“判断行为合理性”，这对标注员的驾驶经验和场景理解能力提出了很高的要求。
我们踩过的一个大坑是标注一致性低。同一个场景，不同标注员给出的合理性判断差异非常大，导致训练数据噪声巨大。后来我们把标注方案改为“行为选项评分制”——不给唯一答案，而是让标注员对多个候选行为进行评分（很好/可以/不推荐/危险），再综合多个标注员的结果得到一个分布式的标注。这个改动虽然增加了标注工作量，但显著提升了数据的可用性。
另外一个容易被忽略的点是标注的时序一致性。驾驶行为是连续过程，一个孤立帧看起来合理的动作，放在前后20秒的语境里可能完全不合理。比如前方两公里处有一个施工路段，当前看似无意义的减速，放在长远规划里就是合理行为。所以决策数据标注必须按照场景片段（Scenario Clip）为单位，而不是按单帧进行，标注员需要看到完整的行为上下文。
在实际操作中，我们建立了如下的决策数据生产流程，供参考：
- 基于路采数据按场景类型切分为若干片段，并归档到场景库。
- 每个场景片段进行多轮回放分析，提取关键交互对象和风险相关帧。
- 由多名具备资深驾驶经验的标注员对场景中的合理行为进行独立评价。
- 对评价结果进行一致性校验，低一致性的场景需要重新审视是否需要补充标注规则或删除。
- 最终输出带有场景标签、行为评价分布、关键帧信息的结构化决策数据集。
这个流程走下来，一个1000小时的数据集，真正能达到训练质量的场景样本可能只有10%-20%。但决策模型本身就是靠大量有效场景“喂”出来的，宁缺毋滥，这个认知值得反复跟团队强调。
4. 从仿真到实车的验证鸿沟
决策算法的验证，理论上应该是一个完整的链条：离线场景回放、大规模仿真测试、封闭场地测试、实路测试。但我在实际项目里发现，很多团队对“仿真能解决什么、不能解决什么”的认知是模糊的，导致在仿真里调好的系统一上车就各种出问题。以下是我认为最值得留意的几个验证鸿沟。
4.1 感知误差对决策的影响无法在完美仿真中体现
大部分仿真平台默认提供“完美感知”——决策模块拿到的是干净、精确的障碍物位置和速度。但真实世界中，感知模块输出的结果充满噪声：目标检测会有漏检和误检，目标位置会有抖动，速度估计会有滞后，车道线识别会断续。
决策算法在完美感知输入下表现良好，不代表在真实感知输入下依然稳健。一个经典的案例：决策系统在仿真里能够非常流畅地完成跟车，但实车上感知模块在雨天对前车的速度估计存在周期性偏差，导致决策系统计算的碰撞时间（TTC）不断在“安全”和“危险”之间震荡，最终表现为车辆频繁加速又刹车，体验极差。
要解决这个问题，一个有效做法是在仿真环境中加入“感知噪声注入”模块。在设计仿真测试时，不是给决策模块喂真值，而是喂经过感知噪声模型污染的输入，这个噪声模型可以从真实道路场景中统计得出，比如目标位置误差高斯分布的均值和方差、漏检概率与距离的关系等。只有让决策算法在“噪声世界”里也能保持稳定，才能对实车表现有信心。
4.2 仿真测试通过率与实车安全性的弱相关性
仿真测试的价值毋庸置疑——可以在短时间内跑成千上万个场景，可以任意构造极端情况。但仿真通过率高，是否代表实车安全性高？这个结论并不成立。
原因在于仿真场景的覆盖度和真实性有限。仿真测试里跑了10万个场景通过率99.9%，说明系统在“已知场景库”内表现优异。但真实道路是开放世界，总会遇到场景库之外的情况。曾经有一个项目，仿真里试了500个典型路口场景全部通过，但第一次上实路就在一个没有车道线的丁字路口卡住了——系统在停车场入口处误判了路权。
这个问题的根源在于碰撞安全和行为合理性是两个维度。仿真可以很好地验证前者——只要逻辑上会发生碰撞，就一定能测出来，这是确定的。但行为合理性很难量化验证——什么算合理、什么算别扭，需要一个主观评价体系。我们后来在仿真测试中增加了一个额外维度：对每次决策输出的轨迹进行“合理性评估”，包括车身加速度变化率、转向平滑度、与预期行为模型的一致性等，用一组指标来逼近行为合理性的评价。这组指标虽然不是金标准，但能在早期过滤掉大量“不安全但是不碰撞”的糟糕行为。
4.3 场景重建与真实道路的闭环
高保真场景重建是目前热度很高的方向。用实采数据重建一个高精度的数字孪生场景，在其中采回放路采的整个决策过程，看系统在真实发生的场景下是否会做出危险或错误的决策。这种方式的天然优势在于场景自带真实的交通流和交互特征，比人工设计的仿真场景更贴近实际。
但场景重建有个隐蔽的问题：重建场景的保真度受限于采集时的传感器配置。如果采集车只有前向摄像头，那么场景重建后的侧方和后方的物体缺失或错误，决策算法在测试时可能会基于错误的邻域信息做出激进决策。这不是算法的问题，是重建数据源的问题。做场景重建实验时，务必核对重建场景的传感器覆盖范围，并明确标注场景中哪些区域是真实重建的、哪些是算法补全的，避免对系统能力产生误判。
5. 决策算法的实车落地经验
前面聊了很多框架和思路层面的东西，最后分享一些更贴近实操的经验。这些内容不是从任何论文里读来的，而是来自真实项目中的反复试错和复盘。
5.1 安全兜底机制的优先级永远高于策略优化
无论决策算法用规则还是学习，无论策略设计得多精巧，在系统架构中必须预留独立的安全兜底层（Safety Layer）。这一层的设计宗旨是：不依赖于决策主策略的输入，对即将执行的轨迹进行独立安全检查，一旦发现风险，立即覆盖或修改轨迹。
我在项目里坚持安全兜底机制必须满足两个条件。第一是独立性，安全层不能和主决策共享同一个感知处理链路，它的风险判断要基于独立的信息源或简化但可靠的处理逻辑。第二是保守性，安全层不需要做复杂推理，只要发现任何不安全趋势，就采取最保守的规避动作，宁可误报也不能漏报。
曾经有段时间团队主攻决策策略的“老司机”感，试图把变道的时机压缩得更晚、更激进，效率确实提高了，但安全兜底层的触发频率也明显增加。后来复盘发现，问题不在策略逻辑本身，而是感知模块在近距离目标的测距精度不足，策略基于高估的安全距离进行了变道，安全层正确拦截了风险。这个案例让我深刻意识到，策略优化的天花板不是算法本身，而是底层感知的置信度和精度。
5.2 决策模块的可观测性设计
决策算法的调试是出了名的困难，因为决策过程是内部状态演化的过程，不像感知一样有可视化的输出可以直观判断。为了让调试效率提升，我给决策模块设计了详细的事件日志系统，记录每一次决策的核心要素：
- 当前行为状态及触发条件
- 目标选择和放弃的原因
- 所有候选轨迹的代价函数得分
- 各类安全指标的实时数值（如TTC、车头时距、横向余量）
这套日志体系在实车测试中非常有价值。每次遇到决策表现不符合预期的场景，我可以直接从日志中定位到“决策内部的哪一步出现了分歧”，而不是对着整车表现猜。有一次系统在汇入匝道时表现得犹豫不决，通过日志发现：候选变道轨迹的代价得分在“汇入成功率”和“舒适性”两个子项之间持续摇摆，导致轨迹选择反复切换。找到原因后，修改了代价函数的权重系数，问题立刻解决。
如果你也在做决策算法的开发和实车测试，强烈建议尽早建立决策事件日志体系，甚至可以将日志格式标准化，作为决策模块的“黑匣子”。这个习惯能帮你省下数不清的排查时间。
5.3 决策模型的评价不能只看单一指标
决策算法的评价，是我认为整个领域中最容易被低估的环节。感知模型可以看mAP、mIOU，控制算法可以看跟踪误差、超调量，看起来决策算法也可以设计类似的量化指标，比如碰撞率、任务完成率。但在实际应用中，单一指标的评价方式会严重误导优化方向。
举一个真实的例子：某个决策算法的一次迭代中，测试场景的碰撞率下降明显，团队很高兴，准备上线。但细看红线日志发现，这次更新同时导致平均速度降低、被周边车辆持续超越的情况增多。碰撞率下降不是源于决策更聪明了，而是源于决策更保守了——它能避免危险，但也变成了一个让交通效率打折扣的“堵车源”。这种牺牲其他维度换来的安全提升，在真实运营中并不划算。
后来我们建立了决策算法的多维度评价体系，包括安全、效率、舒适、合规、交互这五个大维度，每个大维度细化若干个子指标，综合评分来衡量一次迭代的效果。每个维度都要设定最低阈值，任何阈值未达标的版本都不允许通过验证。这个体系有效地防止了算法往极端方向偏移，也帮我们在不同方案之间做出更冷静的取舍。
6. 对决策算法发展趋势的几点观察
决策算法这个领域，这几年变化非常快。除了前面聊到的规则与学习的融合，还有几个趋势我自己比较关注，同时也在项目中逐步尝试应用。
第一个趋势是数据驱动的场景挖掘。与其人工穷举可能出问题的场景，不如从大规模路采数据中自动挖掘决策模块表现不佳的场景。用自动驾驶数据增加数据多样性，这个方法目前已经有不少团队在推进，关键是挖掘出真正有价值的场景——罕见但高风险的边缘情况，用这些场景反哺数据集的构建和模型的训练，让决策算法在每一次迭代中都更加有的放矢。
第二个趋势是决策规划联合优化。传统架构里，行为决策和轨迹规划是两个相对独立的模块，导致决策层发出的指令和规划层生成的轨迹之间可能存在隐含矛盾。把两者联合起来优化，让决策直接输出轨迹分布或者让规划结果反向影响行为选择，可以大幅减少模块间的信息损耗。这也是大模型技术兴起后，很多团队尝试用Transformer统一决策与规划的一个技术动因。
第三个趋势是VLM（视觉语言模型）在决策中的作用。目前主要应用在场景理解和危险识别上——通过自然语言的方式解释复杂场景，并在紧急情况下输出判断依据供决策模块参考，这为黑箱系统增加了一部分可解释性。虽然在安全验证方面还有很长的路要走，但在提升系统的场景泛化能力上，已经能看到不错的潜力。
这些趋势本质上都在解决同一个问题：让决策算法从“能应付已知场景”向“能应对未知场景”演进。这条路还很长，但方向是确定的。
回到开头说的那句话，决策算法是自动驾驶的大脑。它不负责看见世界，但它负责在扑朔迷离的世界中做出正确的判断。做决策算法，跟做其他算法模块有一个很大的心态区别——感知做错了，最坏情况是漏检误检，系统还有冗余；但决策做错了，就是实打实的风险事件。带着这种责任感去设计每一个状态、每一个代价项、每一条安全规则，你才能真正体会到这个领域最有魅力的地方。
