文章来源：微信公众号：EW Frontier
UAVBench：自主智能体无人机系统基准数据集
文章题目
UAVBench：基于大语言模型生成飞行场景的自主智能体人工智能无人机系统开放基准数据集
摘要
自主空中系统日益依赖大语言模型（LLMs）进行任务规划、感知和决策，但缺乏标准化、物理接地的基准限制了对其推理能力的系统性评估。为填补这一空白，本文提出 UAVBench—— 一个开放基准数据集，包含 50,000 个经过验证的无人机飞行场景，这些场景通过分类法引导的大语言模型提示工程和多阶段安全验证生成。每个场景采用结构化 JSON 架构编码，涵盖任务目标、飞行器配置、环境条件和量化风险标签，为跨不同领域的无人机操作提供统一表示。在此基础上，本文进一步提出 UAVBench_MCQ，这一面向推理的扩展模块包含 50,000 道选择题，覆盖十种认知与伦理推理类型 —— 从空气动力学和导航到多智能体协调及混合集成推理。该框架支持在真实操作场景下对无人机特定认知能力进行可解释、机器可验证的评估。本文对 32 个最先进的大语言模型（包括 GPT-5、ChatGPT 4o、Gemini 2.5 Flash、DeepSeek V3、Qwen3 235B 和 ERNIE 4.5 300B）进行评估，发现这些模型在感知和政策推理方面表现优异，但在伦理感知和资源约束决策方面仍面临持续挑战。UAVBench 为自主空中系统中智能体人工智能的基准测试奠定了可复现、物理接地的基础，推动下一代无人机推理智能的发展。
引言
大语言模型（LLMs）正成为增强无人机自主性的强大工具。近年来的研究越来越多地探索将大语言模型集成到无人机系统中，以提升自主性、决策能力和通信效率。多项研究表明，大语言模型能够增强或替代传统强化学习和优化框架 —— 这些传统框架往往受限于训练复杂性和低样本效率 [1]。例如，大语言模型已通过混合决策框架应用于无人机网络，该框架结合发现生成与结构化知识图谱，实现可解释的上下文感知无人机控制 [2]；另有研究采用大语言模型引导的强化学习，解决异构无人机网络中的安全性与能效权衡问题，实现了 secrecy 速率提升和稳健的轨迹优化 [3]；类似地，基于大语言模型的上下文学习已被引入无人机辅助网络的智能数据收集调度，其性能优于基线策略，同时也揭示了其对抗性操纵的脆弱性 [4]；还有研究利用进化优化辅助大语言模型，最小化无人机辅助传感器网络中的信息时效性损失，在高节点密度条件下展现出更优的路由效率 [5]。这些进展凸显了大语言模型为无人机决策流程注入适应性、可解释性和语义推理能力的潜力。
除单智能体自主性外，大语言模型还被用于多智能体无人机协调和大规模操作场景。近期框架利用迭代结构化提示优化多跳无人机部署，在网络回程场景中降低计算开销的同时保持近最优性能 [6,7]；另有研究证明，基于大语言模型的上下文学习在野火监测飞行资源分配中效果显著 —— 实时调度对于最小化延迟和数据失效至关重要 [8]；研究人员还提出了结合高空平台和机载无人机大语言模型的分层架构，用于三维空中高速公路系统，同时提供战略访问控制和战术机动能力 [9]；在群体智能领域，大语言模型驱动的角色自适应框架通过语义通信和动态角色切换增强协作，提升多无人机系统的任务覆盖范围和泛化能力 [10]；同样，城市轨迹规划方法将深度强化学习（DRL）与大语言模型推理相结合，确保低空经济空域中的安全、高效且符合法规的操作 [11]。这些研究共同表明，大语言模型并非仅仅是辅助工具，而是正在成为跨不同任务场景的智能、可解释和可扩展无人机自主性的核心赋能者 [12]。
构建能够理解自然语言指令并将其转化为导航行为的智能体，仍是人工智能领域的核心挑战 [13]。尽管视觉 - 语言导航（VLN）在地面机器人中已得到广泛研究，但空中领域带来了更大的复杂性。无人机必须在连续三维环境中运行，这类环境具有高自由度、多变高度、动态障碍物以及风、光照变化等动态环境条件 [14]。这些因素使得路径规划、空间推理和语言接地比地面系统困难得多。此外，空中导航需要对姿态、速度和稳定性进行精细控制，微小误差可能导致任务失败或碰撞。因此，直接适配地面视觉 - 语言导航方法 —— 这类方法通常针对离散平面运动优化 —— 无法捕捉空中运动的连续物理驱动特性以及飞行固有的实时决策约束 [15]。
尽管研究关注度不断提升，现有无人机视觉 - 语言导航基准和数据集在真实性、任务多样性和物理接地方面仍存在局限。许多数据集依赖简化的离散动作、静态环境或低保真度模拟器，忽视了无人机操作核心的连续控制挑战 [7]。这种物理和语义丰富性的缺失阻碍了全具身空中智能的发展。填补这一空白需要专门的平台和数据集，整合真实飞行动力学、多模态感知和任务级推理。此类资源不仅能更准确地模拟无人机飞行行为，还能促进在真实世界约束下对复杂推理和语言接地决策的研究。针对这些局限性，本文提出 UAVBench 等统一基准，将场景级真实性与结构化推理评估相结合，为自主、语言引导的空中导航端到端研究铺平道路。
无人机正日益应用于多个领域，包括灾害响应、农业、环境监测、交通观测和能源基础设施巡检。然而，大多数任务仍依赖人工遥控，这种方式耗时、易出错且成本高昂 [16]。因此，开发能够在复杂环境中感知、推理和行动的自主无人机智能体是关键研究目标。与地面或室内智能体相比，无人机面临独特挑战，如在大规模动态三维环境中运行、数据收集成本高以及需要明确定义的空中具身任务。应对这些挑战需要专门的模拟器、数据集和评估框架，以支持无人机具身智能的训练和基准测试 [17]。
除任务执行外，无人机自主性还需要从细粒度的指令式导航向高级目标导向认知演进。新兴方法（如目标导航（ObjectNav））展示了语义驱动导航的潜力 —— 智能体通过抽象目标而非详细分步指令到达任务关键目标 [18]。尽管目标导航已在室内地面场景中得到探索，但其在室外空中环境中的应用仍不充分。同时，类人具身认知 —— 处理连续第一人称视觉流以实现定位、推理和导航 —— 在当前无人机研究中基本缺失。城市空域具有垂直机动性、动态障碍物和密集语义复杂性等特点，为自主导航带来了新的挑战。为推动该领域发展，必须建立系统、标准化和开放的基准，评估无人机所具备的认知能力，并实现真实场景中稳健、可扩展的自主性 [19]。
本研究围绕以下研究问题展开，旨在探究结构化、物理接地的无人机场景和基于推理的评估框架如何推动自主空中智能的发展：
•RQ1：统一架构和分类法驱动的生成框架如何确保大规模无人机场景在物理一致性、安全感知和语义多样性方面满足自主飞行智能基准测试的需求？
•RQ2：可采用哪些方法对自动生成的无人机场景进行系统验证和风险标注，以保证物理可行性、架构合规性和可解释性？
•RQ3：如何基于经过验证的无人机场景设计结构化推理任务，以评估和比较自主空中系统中的认知、伦理和操作决策能力？
•RQ4：不同推理类型（涵盖物理、导航、伦理和混合领域）如何影响智能体在执行无人机相关推理任务时的准确性、泛化性和可靠性？
•RQ5：不同模型架构和训练范式在多大程度上影响跨不同无人机任务场景的一致性和接地推理性能？
为解决这些研究问题，本文提出 UAVBench—— 一个基于大语言模型生成无人机飞行场景的开放基准数据集，用于评估和训练自主空中系统中的智能体人工智能模型。UAVBench 将场景生成、验证、风险标注和推理整合到单一框架中，系统地生成结构化且物理一致的无人机任务。每个场景表示为经过验证的 JSON 规范，包含无人机配置、环境、任务目标、空域几何结构和安全约束。该数据集集成多阶段验证流水线，确保架构合规性、物理可行性和风险感知标注，从而支持自主飞行智能的大规模基准测试。此外，本文通过 UAVBench_MCQ 扩展该数据集 —— 这一面向推理的基准用于评估大语言模型在无人机场景中的认知、伦理和操作决策能力。本研究的核心贡献如下：
1统一无人机场景架构：提出结构化、数学定义的架构，将每个无人机任务表示为包含仿真动力学、飞行器配置、环境条件、任务规划和安全约束的元组，确保跨不同无人机应用的一致性、物理有效性和互操作性。
2分类法引导的场景生成：开发分类法引导的大语言模型提示机制，从任务类型、空域配置、天气条件、无人机设计和有效载荷类别的因子化空间中采样，生成包含 50,000 个经过验证、物理一致的无人机飞行场景的大规模数据集 UAVBench，该数据集语义丰富、安全感知，适用于训练和评估。
3多阶段验证和风险标注：引入系统验证流水线，对所有生成场景强制执行几何、物理和安全约束；每个场景进一步标注量化风险等级和分类安全标签（如天气、导航、能源、避撞），这些标签基于检测到的危险和环境严重程度推导而来，形成用于风险感知无人机自主性的可复现、可解释基准。
4UAVBench_MCQ（结构化推理基准）：提出 UAVBench_MCQ，作为 UAVBench 的面向推理扩展，包含 50,000 道从验证场景系统推导的选择题。每道选择题遵循标准化 JSON 架构，属于十种推理类型之一 —— 空气动力学与物理、导航与路径规划、政策与合规、环境感知、多智能体协调、信息物理安全、能源管理、伦理决策、比较系统和混合集成推理。该框架确保接地真实性、结构完整性和逻辑一致性，支持可复现的大规模推理评估。
5大规模大语言模型评估：在 UAVBench_MCQ 基准上对 32 个最先进的大语言模型（包括 GPT-5、ChatGPT 4o、Gemini 2.5 Flash、DeepSeek V3、Qwen3 235B、ERNIE 4.5 300B 和 Mistral Medium 3.1）进行基准测试。评估覆盖无人机自主性的物理、导航、伦理和混合认知维度，发现模型在感知和政策推理方面表现优异，但在多智能体协调、能源管理和伦理感知决策方面仍面临持续挑战。
方法简介
UAVBench 的核心方法围绕数据集生成与推理基准构建展开，主要包括以下四个关键环节：
1. 统一无人机场景架构设计
采用数学定义的结构化 JSON 架构表示每个无人机场景，形式化为元组，涵盖 16 个核心模块：场景名称与随机种子、仿真参数（时间步长、仿真步数、控制器更新频率）、无人机配置（类型、质量、能源、最大速度、有效载荷等）、环境条件（天气、风速、能见度、电磁干扰等）、空域约束（海拔范围、地理围栏）、初始生成状态、任务目标（任务类型、航点、路径模式、时间预算）、背景交通、障碍物、群体队友、控制空间、安全阈值、故障注入、通信约束等。架构通过明确的数学约束确保物理真实性（如能量消耗模型、空气动力学方程）和操作可行性。
2. 分类法引导的场景生成
构建四大核心分类法（场景类型、空域类型、天气类型、无人机类型），将离散要素组织为有意义的类别：场景类型涵盖巡检、配送、侦察、搜救等；空域类型分为城市、自然地形、基础设施走廊、特殊约束区域；天气类型包含降水、风、能见度、结冰等，并定义严重程度评分；无人机类型分为多旋翼、旋翼机、固定翼、混合翼。通过轴元组（场景、空域、天气、无人机类型、随机数）将分类法嵌入大语言模型提示，结合架构约束生成场景，平衡多样性与有效性。
3. 多阶段验证与风险标注
设计四阶段验证流水线确保场景质量：①架构合规性检查，验证所有必填关键字段的存在性和类型正确性；②约束验证，确保任务类型与无人机、空域、天气的匹配性（如固定翼无人机不用于地下场景）；③几何一致性验证，确保航点、生成点在地理围栏和海拔范围内；④安全与故障检查，验证无人机间距、碰撞时间阈值，以及故障事件的合理性（如故障起始时间非负、严重程度在标定范围内）。风险标注通过算法提取场景中的危险事件和环境特征，计算量化风险等级（0-3 级）和分类安全标签（天气、导航、能源、避撞等），实现风险感知基准构建。
4. UAVBench_MCQ 推理基准生成
将经过验证的场景转化为标准化选择题，涵盖十种推理类型（空气动力学与物理、导航与路径规划、政策与合规等）。每道选择题遵循 JSON 架构，包含场景描述、问题、选项、正确答案、理由和元数据。生成过程遵循严格约束：基于场景事实、结构完整、仅一个正确选项、干扰项局部合理但违反相关约束、长度限制（问题≤28 词，选项≤14 词），伦理类题目采用 7 个选项编码安全优先级。通过多阶段生成与验证确保题目质量，支持大规模机器自动评分。
结论
本文提出了 UAVBench—— 一个大规模开放基准数据集，用于评估自主智能体人工智能无人机系统的推理能力。UAVBench 包含 50,000 个经过物理验证和安全标注的飞行场景，采用统一 JSON 架构编码跨领域无人机操作的核心要素，并通过 UAVBench_MCQ 扩展模块提供 50,000 道结构化选择题，覆盖十种认知与伦理推理类型，实现对无人机特定智能的全面、可复现评估。
对 32 个最先进大语言模型的评估结果表明，前沿模型在感知、物理推理和政策合规等领域已达到接近人类的性能，但在多智能体协调、能源管理和伦理权衡等安全关键型任务中仍存在显著不足。这些发现凸显了当前大语言模型在复杂空中自主系统应用中的优势与局限，为后续研究指明了方向。
UAVBench 通过标准化场景生成、多阶段验证和结构化推理评估，填补了现有基准在物理接地性、任务多样性和认知深度方面的空白，为自主无人机智能的发展提供了统一的评估框架。未来研究将进一步整合多模态传感器数据、动态仿真推演和时序推理任务，推动构建具身、可信、上下文感知的下一代无人机智能系统。
