文章主要内容总结
- 背景与目的：现有大型语言模型（LLMs）在结构化推理方面表现出较强能力，但在物理环境中的空间推理能力仍待探索。在建筑设计、辅助规划等实际应用中，空间理解依赖JSON等结构化格式（包含物体位置、尺寸、方向等信息），而非图像或自然语言。因此，本文提出PlanQA基准，用于评估LLMs基于结构化2D平面布局的空间推理能力。
- 数据集与问题设计：PlanQA包含1800个结构化2D室内布局（厨房、客厅、卧室各600个），以JSON格式编码，配套18000个问题，涵盖几何推理（距离、面积）、功能推理（物体放置可行性）、设计相关推理（可见性、路径规划）等类型。
- 评估与发现：对11个LLM（包括GPT-4.1、DeepSeek-R1、Llama-3.3-70B-Instruct等）的评估显示，模型在浅层查询（如简单距离计算）中表现较好，但在模拟物理约束、保持空间一致性、应对布局扰动时普遍失败。此外，模型在网格结构规整的厨房布局中表现优于杂乱的客厅和卧室，且300亿参数以上模型的性能提升趋于平缓。
- 意义：PlanQA揭示了当前LLMs在真实世界布局推理中的短板，为开发能准确推断和处理空间几何属性的语言模型提供了基准和方向。
创新点
- 聚焦结构化符号布局：不同于现有依赖图像或自然语言的空间推理基准，PlanQA基于JSON/XML等结构化符号布局，直接评估LLMs对符号化空间信息的推理能力，
