对于具身智能而言，单一视觉模态已远不能满足精细操作、安全交互与稳健部署的需求。当机器人需要完成插入钥匙、搅拌液体、抓取易碎品等任务时，触觉、力觉、声音甚至温度等模态所提供的感知，往往比视觉更直接、更本质。然而，这类专业数据采集成本极高、标准不一，长期处于碎片化状态。于是，一种更高层次的“数据来源”应运而生——聚合生态，它本身不直接产生原始交互，却通过统一化、规模化整合全球异构数据，成为孕育通用具身基座模型的“超级数据源”。
一、多模态融合的专业数据：让机器人拥有完整的“感官身体”
人类的灵巧操作高度依赖多种感官的实时融合：手指感受接触压力、皮肤感知温度变化、耳朵听辨液体晃动、肌肉感知阻力与重量。同理，具身智能若仅依赖视觉观察动作效果，便永远缺失了执行过程中的物理反馈闭环。以下是几类正在被系统化采集和利用的专业模态。
1. 触觉数据：从接触几何到材料辨识
触觉是精细操作的基石。现代光学触觉传感器（如GelSight、TacTip、Digit）能透过柔性凝胶层和内置相机，以微米级精度捕捉接触面的几何形变与力分布，生成高分辨率的触觉图像。
代表性数据集：
Stanford Haptic 数据集：由斯坦福大学收集，使用 GelSight 传感器记录抓取、按压、滑动等交互中的触觉视频序列，并提供同步的力/力矩读数和物体身份标签，是触觉表征学习的经典基准。
Tactile Insertion（触觉插入）：专门面向精密装配任务，记录机械手在将插头插入插座、USB、钥匙孔等过程中的触觉流与末端位姿，用于训练基于触觉反馈的搜索与对准策略。
BioTac 系列：利用液体填充的仿生指尖（BioTac SP、BioTac Mini）采集接触力、振动和温度，相关数据集包含对纹理、硬度、热导率的细粒度标注，支持多属性触觉理解。
实物触觉数据库：一些大规模抓取数据集（如GraspNet的扩展版本）开始在每个抓取动作中同步记录 GelSight 触觉数据，形成视觉-触觉对齐的百万级抓取数据集，为学习跨模态物体表征提供沃土。
2. 力/力矩数据：感知阻力与惯性
力/力矩传感器直接安装在机械臂腕部或手指关节，提供六维力/力矩读数。这类数据在装配、打磨、柔顺控制中不可替代。
典型数据来源：
RLBench与ManiSkill等仿真平台在部分任务中提供仿真力传感器输出，生成大规模力控策略训练数据。
DROID和ALOHA等真实遥操作数据集在采集时同步记录腕部力/力矩，使得行为克隆策略能隐式学习对接触力的反应，如在插入任务中依靠力反馈调整姿态。
专用力控数据集如RoboMimic的力模态版本，专门研究如何从人类遥操作轨迹中学习力-位混合控制。
3. 声音数据：听出操作的节奏与状态
操作过程中的声音——搅拌、倾倒、开锁、拧螺丝——携带了大量关于任务进度、物理状态和异常情况的信息。
代表性工作与数据集：
“Listening to the Sound of Stirring”：通过麦克风阵列记录搅拌不同液体（水、油、沙砾等）时的音频流，训练模型根据声音判断搅拌是否均匀、容器是否即将溢出。
Audio-Visual Robotic Grasping：在抓取任务中同步采集机械爪接触物体瞬间的声音，结合视觉判断抓取是否稳定，成功将抓取成功率提升至更高水平。
ManiSkill 等仿真器现已支持添加虚拟麦克风，生成物体碰撞、滑动的声音事件，使多模态策略在仿真预训练中便能利用听觉信息。
4. 温度、惯性与其他模态
在某些专门领域，温度传感（如烤箱内部温度探针的操作）、惯性测量单元（IMU）感知手臂的震动与加速度，也被纳入操作数据集。例如，烹饪机器人的操作数据中常包含锅体温度、食物内部温度传感器读数，与视觉和动作流严格同步，以支持安全烹饪决策。
5. 原生多模态融合数据集
越来越多的数据集在设计之初就强调多种传感模态的时空同步与对齐。
RH20T：在其人-机配对轨迹中，除多视角 RGB-D 外，还提供了力觉与音频流，构建了一个包含视觉、语言、动作、力、声音的完整六维数据空间。
ALOHA 2.0 数据：在双手操作中同时记录两个机械臂的腕部力/力矩、末端 RGB 视觉、触觉传感器（可选）及关节状态，为双手协调的力-位控制研究提供优质多模态数据。
Open X-Embodiment 中的多模态子集：包括 BridgeData V2（含腕部力传感器）、DROID（含腕部力）等，确保了聚合训练中模型可以自然习得如何综合运用多种感官。
二、聚合生态：打破数据孤岛，共创通用基座
如果说专业多模态数据是分散的高价值矿藏，那么聚合生态就是将这些矿藏统一开采、精炼、再分发的超级工厂。它本身是一种全新的数据来源形态——不创造新的交互，却创造出前所未有的训练规模与多样性。
1. Open X-Embodiment（OXE）：具身数据集的“联邦”
OXE 是迄今为止最具影响力的具身数据聚合项目，由 Google DeepMind 联合全球 34 个研究机构发起。其核心成果包括：
数据集规模：将60 余个现存真实机器人数据集（包括 BridgeData V2、DROID、RoboTurk、RoboNet、RH20T、ManiSkill 真实子集、ALOHA 等）统一转换为RLDS 格式（一种基于 TensorFlow Datasets 的标准化数据格式），合计超过 100 万条真实机器人操作轨迹。
统一数据模式：定义了标准化的数据字段，包括多视角图像、自然语言指令、机器人状态（关节角、末端位姿）、动作（增量或绝对命令）、时间戳、以及可选的力/触觉模态。这种互操作性使不同形态、不同任务、不同传感器的机器人数据能够被同一个 Transformer 模型直接消费。
RT-X 模型：基于 OXE 训练的 RT-1-X 和 RT-2-X 模型，证明了跨机构、跨形态数据聚合的有效性。仅用 OXE 数据预训练的模型，在未见过的机器人上展现出远超单一数据源训练的泛化能力，甚至能零样本完成某些训练集中未出现过的技能组合。
生态效应：OXE 的开放格式使得全球任何实验室的新数据都可以轻松并入，形成持续扩展的“活数据湖”。目前已有更多数据集（如 DROID 的后续版本、OpenVLA 的微调数据）主动兼容 OXE 格式，生态网络效应初显。
2. 其他聚合与共享努力
RoboAgent：卡内基梅隆大学等机构构建的通用技能库，聚合了来自多种机械臂在多种任务上的交互数据，并配备了技能标注与通用策略接口，使不同机器人可以通过调用共享技能库快速学习新任务。
DROID 的分布式网络：DROID 本身就是一个分布式数据收集联盟，其数据集由 18 个实验室用统一硬件协议采集而成，天然具备聚合属性。其成功激励了更多机构间制定“数据采集协议标准”。
Embodied Agent Interface (EAI)与OpenVLA：这些项目在聚合数据的基础上，进一步定义了模型接口和部署标准，让不同实验室训练的策略可以在统一框架下分享和复用，推动形成“具身模型生态”。
仿真数据聚合：在仿真侧，RLBench、LIBERO、ManiSkill等基准已开始提供统一格式的预生成数据集下载，并与真实数据聚合项目形成互补，使得研究者在同一代码库中即可混合使用仿真合成数据和真实数据。
3. 聚合生态的深层价值
聚合生态远非简单的数据拼接，它催生了几个根本性变化：
打破“机器人形态壁垒”：不同机械臂（Franka、WidowX、xArm、KUKA）的运动学和动力学校准差异，通过统一动作空间表示（如末端位姿增量）被隐式消除。模型从聚合数据中学会了“抓住”这一行为的形态无关本质。
语言指令的语义对齐：聚合时通过语言嵌入和自动重标注，使得“拿起杯子”“抓取水杯”“take the mug”等不同表述映射到相似的动作模式，极大增强了模型对自由形式指令的鲁棒性。
长尾能力的涌现：单一实验室很难收集到“打开特殊儿童安全瓶盖”或“在湿滑表面抓取”等稀有场景。聚合之后，各实验室的长尾数据互相补足，模型逐渐涌现出处理非典型情况的通用能力。
数据飞轮的网络效应：聚合生态天然加速了数据飞轮——任何一个团队改进的模型或新增的数据，都能以标准格式汇入，所有生态成员即刻受益，形成正向创新循环。
三、总结：多模态融合与聚合生态的协同效应
多模态专业数据赋予了具身智能以触觉、力觉、听觉等完整的“感官皮层”，使其具备了执行精密、安全交互的基础。而聚合生态则将这些原本孤立、异构的感官经验与运动模式熔铸为一炉，让一个统一的基座模型得以从百万条来自不同国家、不同实验室、不同机器人的交互中汲取操作常识与物理规律。可以说，多模态是让机器人“感觉”世界，聚合生态是让机器人“理解”世界。当这两个维度深度融合——以 OXE 为代表的基础设施持续吸纳更多模态的专业数据——具身智能的通用基座将最终获得超越单一感知与单一形态的泛化能力，向在任意环境、任意物体、任意指令下可靠作业的目标再迈出关键一步。
图示解读：
图的左侧展示了触觉、力觉、声音等专业模态数据，它们共同赋予机器人完整的“感官皮层”；右侧则呈现以Open X-Embodiment为代表的聚合生态，通过统一格式、跨机构整合与模型共享，打破数据孤岛。两者协同之下，具身智能正从单模态的“看见”走向多模态的“感觉”，从各自为战的“孤岛”走向共创通用基座的“共同体”。
