《基于大语言模型的四足机器人运动规划生成》论文解读-平芜编程栈

基于大语言模型的四足机器人运动规划生成

原文链接

https://arxiv.org/pdf/2512.21293

一、原文总结

研究背景与目标

传统四足机器人痛点
- 控制界面门槛高，需专业技术知识
- 非专家用户操作难度大
LLM的核心价值
- 支持自然语言直观交互
- 实现高-level任务规划（如SayCan框架，将抽象指令转化为机器人动作序列）
现有研究不足
- LLM计算需求高，超出常规移动机器人硬件承载能力
- 现有方案依赖高性能车载GPU或固定服务器，不适配轻量化平台
研究目标
- 提出分布式控制架构，适配DeepRobotics Jueying Lite 3
- 外部服务器卸载LLM推理，本地通过ROS保障实时导航
- 实现结构化室内环境下自然语言驱动的复杂导航
前期研究基础
- 服务机器人地图构建（mapping）
- 目标跟随（object following）
- 老年人失物找回（lost item retrieval）

系统设计与配置

分布式硬件架构
- 核心组件（5个）
  - 用户设备：智能手机/电脑（输入自然语言指令）
  - 开发主机：处理LLM请求、托管Flask Web服务器
  - 感知主机：Nvidia Jetson NX Xavier，负责传感器融合、定位、路径规划
  - 运动主机：连接运动执行器+传感器（LiDAR、IMU、里程计）
  - 互联网接入点：保障设备间通信
- 通信方式
  - 运动主机↔开发主机：LAN线缆
  - 开发主机↔用户设备：开发主机连路由器作为Wi-Fi热点
- 操作流程
  1. 远程激活感知主机，初始化LiDAR/IMU传感器
  2. 启动ROS导航栈，通过RViz完成机器人2D/3D地图定位
  3. 发布运动指令至ROS话题，激活Flask服务器
  4. 用户输入印尼语指令→LLM生成JSON运动计划→解析执行
映射与导航
- 建图技术：HDL-Localization（3D LiDAR SLAM），环境为ITS Tower 2建筑室内
- 语义航点（POI）定义
  - 包含实验室（901/903/902/904）、茶水间、电梯、洗手间等
  - 每个航点Wi关联地图坐标系（x,y）（见表1：Semantic Waypoints and Interior Zones）
- 导航逻辑：基于全局规划算法实现航点间点到点移动
LLM提示设计与集成
- 采用模型：Vertex AI Gemini
- 提示核心约束
  1. 动作原语：定义有效行为（导航、探索、停止）
  2. 上下文约束：禁止生成幻觉/不安全航点
  3. 少样本示例：引导解析多步指令为有序JSON
- 输出格式：JSON数组"actions"，含"command"（goto/wait）和"parameters"（如waypoint）
- 指令流转：JSON经开发主机解析→发布至ROS move base话题
Web界面与LLM API集成
- 界面载体：开发主机上的响应式Flask Web应用
- 功能流程：用户输入自然语言→调用云端LLM API→生成JSON计划→relay至机器人运动规划器

实验设置与结果

实验平台
- 机器人：DeepRobotics Jueying Lite 3
- 计算模块：运动主机（执行器/传感器通信）、感知主机（Jetson Xavier NX）、开发主机（LLM/Web）
- 环境：ITS Tower 2 9楼室内（实验室、走廊、茶水间、洗手间、电梯）
测试场景（4类）
- 单房间短距离导航
  - 场景：901实验室内任务（如取物品→焊接）
  - 数据：15次尝试，100%成功率，平均45.26秒
  - 示例指令：“Saya ingin mengambil barang di lemari lab, kemudian ingin menyoldernya”
- 多房间短距离导航
  - 场景：901→903实验室/电梯
  - 数据：25次尝试，96%成功率，平均68.27秒
  - 示例指令：“Saya ingin mengambil barang di lemari lab… kemudian pergi ke lab TW903”
- 多房间长距离导航
  - 数据：20次尝试，90%成功率，平均89.71秒
- 跨区域导航
  - 场景：9楼多区域任务（如取焊接件→茶水间→洗手间→2楼咨询）
  - 数据：20次尝试，100%成功率，平均130.98秒
  - 示例指令：“Saya ingin konsultasi ke lantai 2… pergi ke pantry serta toilet”
性能指标与分析
- 核心指标：平均任务完成时间、成功率（见表2）
- 关键结论
  1. 任务复杂度与完成时间正相关（航点越多/路径越复杂，时间越长）
  2. 整体成功率超90%，证明LLM生成计划的可靠性
  3. 多房间失败原因：局部导航优化、地图精度、错误恢复机制不足

结论与未来工作

研究结论
- 实现LLM与四足机器人集成的运动计划生成方法
- 支持无专业知识的自然语言控制，新环境适配仅需地图+全局坐标+LLM提示
- 实验验证系统在结构化室内环境的可靠性
未来工作
- 集成检索增强生成（RAG）：利用用户历史提示上下文
- 集成视觉语言模型（VLM）：实现环境视觉理解与动态调整