从人机环境系统智能（HMES Intelligence）的视角审视，嵌入式AI作战决策虽然提升了OODA环的流转速度，但也引入了前所未有的系统性风险。这些风险并非单纯的技术故障，而是人、机、环境三要素在深度融合过程中产生的“排异反应”与“结构性失衡”。
结合当前军事实践与理论研究，主要面临以下五大维度的风险挑战：
1. “机”的内生缺陷：算法黑箱与数据脆弱性
嵌入式AI作为系统的“认知器官”，其自身的不确定性是风险的源头。
首先是不可解释性与信任危机，深度学习模型的“黑箱”特性使得决策逻辑难以追溯。当AI给出一个反直觉的战术建议时，指挥员若无法理解其推理过程，便陷入“盲信”或“弃用”的两难境地。这种认知断层直接削弱了人机协同的效能。同时，还有对抗样本与模型欺骗， 嵌入式AI高度依赖传感器输入，极易受到对抗性攻击，微小的像素扰动或特定的电磁信号即可诱导AI将民用车辆识别为坦克，或将友军标记为敌方。在强对抗环境中，这种 “感知幻觉” 可能导致灾难性的误击。数据偏见与泛化失效也常常存在，训练数据往往包含历史偏见或特定场景特征。当嵌入式AI被部署到文化、地形或敌情截然不同的新环境时，可能出现严重的模型漂移。例如，基于中东数据训练的识别系统在其他地区可能完全失效，甚至因种族/性别偏见引发人道主义灾难。
2. “人”的认知退化：自动化偏置与责任虚无
当机器越来越“聪明”，人的主体性反而面临被侵蚀的风险。
自动化会偏置，技能会丧失，长期依赖AI辅助决策，会导致指挥员产生“机器总是对的”心理定势，逐渐丧失独立研判能力和战场直觉。一旦AI失效或被欺骗，人已无力接管，形成 “去技能化”陷阱。而且道德脱钩与责任真空问题会浮出水面，嵌入式AI的高速决策压缩了人类的伦理反思时间。当杀伤链被算法加速至秒级，人类监督沦为“橡皮图章”。一旦发生误伤，责任归属在开发者、指挥官、算法与数据提供者之间变得模糊不清，导致 “有罪无责”的伦理困境。认知过载与信息茧房现象也会加重，AI虽能处理海量数据，但若推送策略不当，反而会向指挥员灌输过量或高度同质化的信息，加剧认知负担或强化既有偏见，使决策者被困在算法构建的 “数字回音室” 中，丧失对战场全貌的把握。
3. “环境”的动态失配：复杂适应性与安全边界崩塌
战场环境的极端复杂性往往超出AI的设计预期，导致系统行为失控。
非结构化环境会产生适应性瓶颈，实验室或演习场的数据无法穷尽真实战场的混沌状态（如恶劣天气、平民混杂、通信中断）。嵌入式AI在分布外场景下的表现呈断崖式下跌，可能做出违背常识的危险决策。物理-信息环境具有耦合风险，嵌入式AI深度嵌入武器平台，使得网络空间的安全漏洞直接转化为物理空间的杀伤风险。黑客通过入侵AI模型或传感器链路，即可劫持整个作战单元，实现 “软杀伤硬毁伤”。伦理与法律环境往往滞后约束，现行战争法和交战规则是基于人类行为设计的，难以适配AI的自主决策逻辑。当AI在毫秒级时间内自主决定是否开火时，传统的 “区分原则”与“比例原则” 在技术上难以被精确编码和执行，导致合规性验证成为不可能完成的任务。
4. 系统交互的涌现风险：人机失调与级联失效
风险不仅存在于单个要素，更涌现于要素之间的互动界面。
人机节奏错位加剧，AI的处理速度远超人类认知极限。在高强度对抗中，AI倒逼指挥流程加速，使人类监督环节被虚置，“人在回路”退化为“人在环上”甚至“人在环外”，丧失了最后的安全阀。多智能体协同的意外涌现，多个嵌入式AI节点在分布式协同时，可能因局部最优策略的叠加而产生全局性的灾难后果（如蜂群自相残杀或集体误判）。这种系统级涌现行为难以通过单体测试预测，且一旦发生便呈指数级扩散。跨域互操作的安全缺口，不同军种、不同代际的嵌入式AI系统标准不一、接口各异。在联合全域作战中，数据融合过程中的格式转换、语义歧义或协议漏洞，可能成为整个作战体系的 “阿喀琉斯之踵”。
5. 战略与伦理的深层隐忧
超越战术层面，嵌入式AI的广泛应用正在重塑战争的本质。冲突升级的自动化螺旋，AI追求的“先发制人”和“速胜”逻辑，可能压缩外交斡旋与危机管控的时间窗口，使局部摩擦因算法的自动响应而迅速升级为全面战争。技术垄断与安全失衡，先进嵌入式AI技术集中在少数国家手中，加剧了全球军事力量对比的失衡，可能刺激弱势方采取非对称手段（如恐怖袭击、网络攻击）进行报复，反而降低了整体安全水平。人类战争伦理的底线侵蚀，当生死决断越来越多地由“冰冷的算法”做出，战争的神圣性与悲剧感被消解，可能导致社会对暴力的麻木，动摇国际人道主义法的根基。
应对思路
化解上述风险，不能仅靠技术修补，必须坚持系统工程思维：
（1）技术上： 发展可解释AI、对抗鲁棒性测试、形式化验证与区块链存证，提升系统的透明度与可信度。
（2）人机上： 设计自适应的人机权限分配机制，确保关键节点有人类实质性介入；加强指挥员的AI素养与反自动化偏置训练。
（3）环境上： 构建贴近实战的复杂环境测试床，推动伦理规则的技术化嵌入，建立跨域互操作的安全标准。
（4）治理上： 完善AI军事应用的法律法规与国际规范，明确责任链条，防止技术滥用。
唯有将安全、可信、可控作为嵌入式AI发展的前置条件而非事后补救，才能真正实现人机环境系统的良性共生，避免智能化战争滑向失控的深渊。
如何防止指挥员产生自动化偏
置？防止指挥员产生“自动化偏置”（Automation Bias），不能仅靠强调“人的主观能动性”或简单的警示教育，而必须将其视为一个人机环境系统工程问题。
自动化偏置的本质是人类认知捷径与系统设计缺陷的耦合产物：当AI表现稳定、界面友好且时间压力大时，人脑倾向于将“机器输出”等同于“客观事实”，从而关闭批判性思维。要破解这一困局，需从交互设计、训练模式、制度约束、文化塑造四个维度进行系统性干预，核心目标是将“质疑”内化为系统的默认状态，而非依赖个人的意志力。
1. 交互设计：让“不确定性”可见，让“否决”便捷
系统界面不应追求“完美呈现”，而应主动暴露AI的局限性，打破“全知全能”的幻觉。
实现显式化不确定性，AI不应只给出单一结论，而必须同步展示置信度区间、关键假设、数据质量评分及替代方案。例如，当目标识别置信度低于阈值时，系统应自动高亮提示“分类模糊”，并触发可解释性分析，强制指挥员进入复核流程。这利用了“认知摩擦”原理，迫使大脑从“系统1”（直觉）切换到“系统2”（分析）。
构建结构化分歧机制，引入多个独立开发的AI模型进行交叉验证。只有当多个模型收敛一致时才输出建议；若出现分歧，则作为红色警示信号直接呈现给指挥员，明确告知“此处存在算法争议”，将分歧本身转化为人类介入的触发器。
优化否决与修正的交互体验，“否决”操作必须在UI上极其醒目、一键可达（甚至保留物理硬开关），避免在高压下因操作复杂而放弃干预。同时，系统应记录每一次否决行为，并将其作为正向反馈用于后续模型优化，让指挥员感受到自己的判断被系统“听见”和“学习”，增强主体感。避免“迎合式”输出，生成式AI常有讨好用户的倾向。系统应被设计为 “魔鬼代言人” 角色，主动挑战指挥员的预设假设，列出反对证据和潜在风险，而非一味强化既有判断。
2. 训练模式：从“学会使用”到“学会质疑”
传统培训聚焦于“如何操作系统”，防偏置训练则必须聚焦于“如何识别系统失效”。
经常植入“算法欺骗”场景，在模拟演习中刻意设置AI出错、被对抗样本欺骗或给出看似合理实则错误的建议等案例。让指挥员在安全环境中亲身体验“信任机器导致失败”的后果，建立对AI脆弱性的肌肉记忆。强化人机博弈对抗训练，让指挥员与AI在虚拟战场中反复对抗，既体验AI的优势，也亲手击败AI。这种“祛魅”过程能有效破除技术神秘感，帮助指挥员准确把握机器的能力边界。构建元认知能力培养，训练指挥员监控自身的认知状态，识别“我正在过度依赖AI”的信号（如不再交叉验证情报、跳过检查清单、对AI建议感到异常安心等）。将“自我怀疑”作为一种专业技能纳入考核体系。保持压力下的决策韧性训练，在高时间压力、信息模糊、多任务并行的极端条件下进行演练，检验并强化指挥员在应激状态下保持批判性思维的能力，防止压力下认知退化为盲从。
3. 制度约束：用流程强制“人在回路”
不能假设人在任何时候都能保持理性，必须通过刚性制度为人类判断设置“护栏”。
进行分层授权与动态权限管理，根据任务风险等级动态调整AI自主权，低风险任务可允许较高自动化；涉及致命武力、平民保护或战略决策时，强制要求人类实质性审核，且审核环节不可被跳过或压缩。建立“红队”审查机制，设立独立于作战指挥链的AI伦理与安全官（RAI Officer）或红队小组，专门负责在决策过程中扮演“挑刺者”角色，对AI建议进行独立验证和挑战，形成制度化的制衡力量，决策日志与事后复盘制度化，完整记录人机交互全过程，包括AI建议、人类采纳/否决理由、环境上下文等，定期开展基于真实案例的复盘，重点分析“为何当时没有质疑AI”，将个体经验转化为组织知识。绩效评估去“效率至上”，避免单纯以决策速度或AI采纳率作为评价指标，应将“有效质疑次数”、“成功识别AI错误案例”等纳入正向激励，消除“质疑AI=不信任技术=落后”的错误组织信号。
4. 文化塑造：培育“技术谦逊”与“责任自觉”
最深层的防线在于价值观和文化氛围。倡导“技术谦逊”理念，在组织文化中明确承认AI的局限性和可错性，将“机器会犯错”视为常识而非例外。鼓励公开讨论AI失误案例，营造心理安全环境，使指挥员敢于表达疑虑而不被视为“不懂技术”。强化“最终责任人”身份认同，通过条令、宣誓、仪式等方式不断重申：无论AI提供何种支持，做出决策并承担后果的永远是人。防止“是AI决定的”成为心理免责借口。重建专业自信，强调人类独有的情境理解、伦理判断、创造性思维和跨域整合能力是AI无法替代的核心价值。让指挥员认识到，质疑AI不是否定技术，而是履行其作为指挥官的最高专业职责。领导层示范效应，高级指挥官应在公开场合展示自己质疑AI、修正AI建议的案例，传递“批判性使用AI才是成熟表现”的明确信号，自上而下重塑组织行为规范。
核心要点回顾与总结
防止自动化偏置，本质上是在重构人机信任的校准机制。它不是要让人不信任AI，而是要建立一种 “校准后的信任”——既不过度怀疑以致弃用，也不盲目信赖以致失控。
这需要我们将“质疑”从一种依赖个人意志的偶然行为，转变为嵌入系统界面、训练体系、组织制度和文化遗产中的结构性能力。唯有如此，才能在享受AI带来的决策增效的同时，牢牢守住人类作为战争责任主体和伦理守护者的底线。
