1. 多指灵巧手的基准测试，到底在测什么
先聊一个我在实验室里经常遇到的场景。团队花了大半年时间调完一双多指灵巧手，拍出来的演示视频也很漂亮，抓手、拧瓶盖、捏螺丝样样都行。但一到真刀真枪地横向对比，麻烦就来了：别人家的手用的是另一种测试协议，物体摆的位置不一样、评判标准不一样，连“成功”的定义都不一样。最后双方各说各话，谁都觉得自己更强。
这就是基准测试存在的意义。多指灵巧手是当下具身智能领域最受关注的末端执行器之一，但手做得再好，如果没有一套能够被复现、被量化、被比较的评测体系，就谈不上真正的研究进展。你可以把基准测试理解成一把“公平的尺子”——它把任务定义、评价指标、数据采集方式全部固化下来，让不同团队做出来的手可以在同一个擂台上比划比划。
这篇内容不是单纯罗列别人的工作，而是从我做灵巧手测评的实操视角出发，把“基准测试”这件事拆开揉碎：它测什么、怎么测、有哪些坑，以及未来会往哪个方向走。适合刚接触灵巧手的同学快速建立全局认知，也适合已经在一线调手的朋友对照自己的测试流程找找漏洞。
1.1 从“能动”到“能干”，还差一把可量化的尺子
很多人都喜欢用“这双手能动多少个自由度”来衡量灵巧手的好坏。自由度确实是个基础参数，但自由度只能说明“能不能动”，完全不能说明“动得好不好”。就像给你一台十几个挡位的变速箱，不代表你就能开好手动挡；一个24自由度的Shadow Hand，如果没有好的控制算法和感知能力，连一颗鸡蛋都未必能稳稳握住。
我通常把灵巧手的评价分成三个递进层级。
第一层是硬件能力层。看关节数量、运动范围、峰值力、关节速度、带宽这些物理参数，这一层回答的是“手本身能用吗”。第二层是操控能力层。看它在真实或仿真环境中完成具体操作任务的表现，比如抓取、旋转、插拔，这一层回答的是“手配合算法能干成什么”。第三层是学习与泛化层。看它能不能通过强化学习或示教学习掌握新技能，并在物体位置、姿态发生变化时仍然保持稳定表现，这一层回答的是“手能不能适应真实世界的变化”。
大多数入门者只停留在第一层，而真正有价值、也最难做的基准测试，恰恰集中在第二层和第三层。我见过不少项目用“能转个魔方”来证明手很厉害，但仔细一看，魔方的初始朝向是固定死的，做了两百次才成功一次，这种结果拿去发论文可以，拿去评价手的真实能力，信息量就非常有限了。
这里想强调一个核心观点：基准测试不是“找个任务做演示”，而是一套完整的实验设计。它要求任务场景可复现、指标定义无歧义、数据采集可同步。任何一环掉了链子，测试结果的横向可比性就大打折扣。
1.2 基准测试的三件套：任务、指标、数据
如果把一次基准测试看作一场考试，那这三件事缺一不可。
任务就是考卷。它决定了你要考察手的什么能力。是考察指端力控精度，还是考察关节速度响应？是单手操作还是双手配合？物体是刚性块还是软性物体？初始位姿是固定的还是随机采样的？这些细节都要写清楚。以抓取任务为例，同样是“抓杯子”，杯子的直径、重量、表面摩擦系数，机械臂末端的初始高度，甚至桌面的材质，都会影响成功率。基准测试要做的第一件事，就是把任务模板化，让所有参赛者拿到的是同一张“考卷”。
指标就是评分标准。不同任务对应不同指标：抓取任务看成功率，旋转任务看完成角速度和精度，插拔任务看轨迹误差和接触力。指标还要区分主客观：客观指标由传感器自动采集并计算，比如轨迹误差、末端位姿偏差；主观指标依赖人工判断，比如“看起来够不够稳”。在设计基准时，主观指标越少越好，否则不同评测员之间的评分差异会直接污染结果。
数据是整个过程的留痕记录。关节角、力矩、末端力、视觉数据、操作时间、成功/失败标记，这些信息要在统一时间戳下同步记录。没有同步数据，你事后连“为什么失败”都说不清楚。
这里还要多说一句。很多人觉得基准测试就是“拿数据集跑一下”，但多指灵巧手的基准测试和图像分类那种静态基准完全不同。灵巧手涉及物理交互，环境微小变化就会导致结果大幅波动。所以真正可靠的基准测试一定包含“重复性与随机化设计”——同一个任务反复跑几十上百次，初始位姿随机扰动，最后统计出带分布信息的指标。单次成功不能说明任何问题。
2. 盘点一下现有的灵巧手基准测试方案
说实话，业界对“多指灵巧手基准测试”这件事的共识还没有完全形成。各家有各家的打法，但按照测试维度还是可以分分类。我个人习惯把它们归档为硬件层测试、任务层测试和学习层评估三大类，下面分别展开说。
2.1 硬件层测试：自由度、力控与操作带宽
硬件层测试是最基础也最好复现的一层，因为它基本不依赖算法，直接把传感器接上就能测。
自由度（DOF）是最常被引用的参数。Shadow Hand有24个自由度，很多国产仿人手的自由度也都在12到16之间。但纯粹堆自由度的意义有限，更值得看的是“有效控制自由度”和“感知分辨率”。有些手关节很多，但驱动耦合严重，独立可控的关节屈指可数。
指尖力是衡量操作能力的硬指标。轻量灵巧手指尖力一般在5-20N范围，力量如果低于3N，很多抓取任务都做不了。测评时要区分峰值力和可持续力，峰值力只能维持一瞬间，可持续力才是实际工作时的可用力。
我把“关节角速度×力控带宽”粗略看作手的操作带宽——单位时间能做多少有效的精细动作。这个指标不是官方标准定义，但在实际评测中非常有用。一个关节速度慢、力控响应迟钝的手，即使自由度很高，做动态操作时也会暴露短板。
下面这个表格是我常用的硬件参数速查维度，供参考：
| 参数 | 常见量级 | 对操作的影响 | 采集方式 |
|---|---|---|---|
| 独立自由度 | 6-24个 | 决定运动能力上限 | 编码器读数 |
| 指尖最大力 | 5-50N | 决定能否稳定抓持重物 | 指尖力传感器 |
| 关节角速度 | 100-1000°/s | 影响动态操作速度 | 关节编码器差分 |
| 力控响应带宽 | 1-50Hz | 影响接触操作的平稳性 | 频率响应分析 |
| 位置重复精度 | 0.1-1mm | 影响插拔类精细任务 | 激光跟踪仪 |
硬件层测试还有一个容易被忽略的点：感知能力。很多灵巧手集成触觉传感器，它的分辨率、采样率、动态范围也是基准的一部分。没有触觉反馈的手，做盲操作可能还行，一旦涉及易碎、易变形物体，基本就是听天由命。
2.2 任务层测试：抓得稳、转得快、插得准
任务层测试是目前最主流、也最能区分高低水平的方式。
YCB物体集算是最常用的标准化物体库，里面包含食品盒、杯子、螺丝刀等77个日常物体，覆盖了刚性、柔性、不同材质表面等各种属性。你可以在YCB子集上固定十几件物体作为“考试科目”，要求灵巧手完成抓取、搬运、放置整套动作，统计成功率作为基准分数。
除了抓取，精细操作任务也逐渐成为测试重点。旋转任务考察单手多指协调能力，比如将魔方面任意朝向转到目标朝向；插拔任务考察力位混合控制，比如把USB接头或者轴孔部件插进去；捻拨任务考察小范围稳定操作，比如捏住一枚硬币并调整方向。这三个任务分别对应日常操作中的旋转、对准、微调能力。
任务层测试的难点在于“物体属性与初始位姿的标准化”。我在测试时就吃过亏——同一把球形夹爪，抓金属块成功率80%，换成表面光滑的玻璃块直接掉到30%。这些变量不说明清楚，测试结果就没有意义。一个可复现的任务模板至少应该包含物体模型文件或规格、物体初始位姿区间、工作台摩擦特性、机械臂运动轨迹范围这几个要素。
2.3 学习层评估：强化学习跑出的分数可信吗
近几年随着强化学习在灵巧操作中的广泛应用，另一类基准测试开始热起来——评估“手加算法”这套系统在模拟环境中的学习能力与泛化能力。
OpenAI的Dactyl项目就是典型代表。他们用Shadow Hand在仿真里训练旋转魔方，再用域随机化迁移到真机。这种评测的核心指标不只是最终成功率，还包括样本效率、训练稳定性、以及从模拟到现实（Sim-to-Real）的迁移成功率。
在做这一类评估时，仿真器是公认的标尺。MuJoCo、Isaac Gym、SAPIEN都是常用选项。MuJoCo胜在接触求解稳定、轻量易用，适合做精细操作研究；Isaac Gym支持GPU并行，适合大规模采样训练；SAPIEN在感知和关节物体操作方面表现更均衡。
这里要说个很多人容易忽略的大坑：强化学习基准的“分数”高度依赖任务定义和随机种子。同一套算法，换个随机种子、调个奖励权重，结果可能天差地别。所以学习层评估要尽可能公布完整的训练配置，包括网络结构、学习率、奖励函数、域随机化范围、随机种子。缺少这些信息，别人拿到的就是一张没法校验的“真空分数”。
3. 实操视角：搭一套可复现的灵巧手基准测试流程
理论讲完了，下面直接进入实操。我以自己做过的一个“轴孔插拔”评测为例，完整拆解一套可复现基准测试的搭建过程。这套方法论对抓取、旋转、拧螺丝等任务同样适用，把物体和指标换掉即可。
3.1 第一步：选定任务并锁定所有场景变量
我选择的参考任务是轴孔插拔，因为它同时考察手部抓持稳定性、位姿对准精度、以及力控顺应性，信息量很大。
任务定义要细到这种程度：
- 物体：直径10mm、长度40mm的金属圆柱销，表面粗糙度Ra=0.8，用手端夹持。
- 配合孔：直径10.2mm的刚性孔座，孔口带1mm倒角，深度30mm，固定在桌面上。
- 初始条件：销的轴线与孔轴线先粗对齐，初始横向偏差±3mm、倾角偏差±2°之内。
- 操作目标：将销完全插入孔底，且不产生明显弯折或损伤。
- 结束条件：销底面与孔底距离小于0.5mm，或连续尝试超过30秒判定超时。
这里每个数字都是实验协议的一部分。很多测试做出来不可复现，就是因为初始条件的区间没写清楚。我给团队的规矩是：测试协议里的每一个数值，都要能回溯到传感器读数或物理限位，不能靠“大概”“差不多”这类描述。
3.2 第二步：定义量化指标，不要只盯成功率
成功率当然重要，但只报成功率会掩盖很多信息。我建议一套基准至少包含三个维度的指标。
操作时间能反映效率。从任务开始到完成的总耗时，包括运动时间和规划时间。轴孔插拔里，时间越短说明轨迹规划越高效、控制响应越快，但也要防止为了快而牺牲稳定。
位姿精度反映精细程度。通过动作捕捉或机械臂末端坐标数据，计算销轴在插入过程中的最大横向偏差和角度偏差。横向偏差小于2mm、角度偏差小于1.5°是常见的合格线。插入过程中出现的过冲、抖动，也可以通过这段轨迹数据的标准差反映出来。
接触力峰值反映安全性。如果在销端或孔座底部贴薄膜压力传感器，就能记录插入全程的接触力。优质操作应该在接近孔底时才出现可控的力峰值，力峰值过高说明力控不当。
评价的时候，我习惯做一张类似下表的评分卡：
| 指标 | 阈值/目标 | 实际值 | 评价 |
|---|---|---|---|
| 成功率（连续10次） | ≥80% | 90% | 通过 |
| 平均操作时间 | ≤15s | 12.3s | 通过 |
| 最大横向偏差 | ≤2mm | 1.4mm | 通过 |
| 最大接触力 | ≤25N | 18.5N | 通过 |
这样一张卡片出来，团队的改进方向就非常清楚了。它比一句“效果不错”客观得多。
3.3 第三步：多传感器同步采集，别让数据“对不上账”
数据同步是基准测试里最不起眼却最重要的环节。轴孔插拔需要三类数据流：关节角度和力矩（手内部的高频反馈）、末端位姿（外部动捕或机械臂反馈）、接触力（力传感器）。它们各自采样率不同，分别为200Hz、100Hz、500Hz，必须在同一时间基准下对齐。
我在项目里用ROS的message_filters做时间同步，所有数据统一打上硬件时间戳，存成bag文件。这里推荐一个容易踩坑后的教训：如果你用的是不同厂家的传感器，时间戳可能来自不同晶振，长期运行会漂移。最好先跑30分钟让你把所有传感器时钟统一校准到NTP或PTP同步基准上，再开始正式测量。否则你回放数据时候会发现，接触力曲线和视觉画面对不上，根本没法定位问题。
另外一个实用建议：在场景里放一个带时间码的LED标定板，视觉数据和真实时间就能互相对照。这是我调试时的“最后一道保险”，真出了同步问题，至少还能靠视频人工排查。
3.4 第四步：加入随机化，做重复试验和统计分析
单一固定初始条件的测试不算真正的基准，因为你无法判断“成功”是能力的体现还是偶然。我的做法是引入随机化。
轴孔插拔测试中，初始横向偏差在±3mm范围内均匀随机抽取，倾角偏差在±2°范围内随机抽取，每个随机种子下重复10次，总共做10组，每组换一个种子，拿到100次测试数据。最后统计成功率的均值、方差和置信区间。
这样做有两个好处。第一是消除了测试员“挑姿势”的空间，每次物体位置都不是人能预判的。第二是能看清系统在边界条件下的稳定性——如果前80次全成功、后20次全失败，那大概率是某个边界状态触发控制失效，这种故障只能靠随机化暴露出来。
注意：随机化测试的原始数据一定要留档。哪怕最终论文里只报一个平均值，原始日志也要能还原出每一次试验的初始条件和结果。这是可复现性的底线。
3.5 第五步：形成协议文档，发布时附上“测试标准”
一套基准测试做完，最后一个动作是把所有设定固化成文档。文档里至少包含：任务定义与场景配置、硬件清单及型号版本、软件版本及依赖、指标定义与计算代码、随机化策略与随机种子、原始数据存放路径。
我见过太多团队抱怨“别人复现不了我们的结果”，点开补充材料一看，只给了一段模糊的任务描述，没有给代码、没有给随机种子、没有给物体模型，这种基准形同虚设。基准测试的价值在于“第三方可以拿着你的协议独立做一遍”。所以在能保护核心技术机密的前提下，尽可能多地开放测试协议和评分代码。公开协议本身就是对工作质量的背书，敢把协议公开，说明你对结果有信心。
4. 基准测试设计里那些防不胜防的坑
做测评这几年，我在基准设计中踩过不少坑，也看到过不少同行踩坑。这些经验不写在论文里，却直接影响测试结果的可靠性，拿出来分享给各位。
4.1 成功率怎么数都行，必须固定“成功”的定义
最典型的就是成功判定不一致。有的团队定义“抓住物体2秒不掉落”就算成功，有的要求“抓起并搬运到指定位置”才算成功。同样一个抓取基准，前者成功率可能高出后者20个百分点。
解决办法是提前把状态机写清楚：从任务开始、目标接触、抓持成功、搬运开始、到达终点、释放完成，每个状态的定义和转化条件都要量化。比如“抓持成功”可以定义为“物体中心位姿在连续1秒内保持在目标手上坐标系内的漂移小于5mm”。状态定义越机械、越可判定，人为操作的空间就越小。
4.2 指标之间会互相打架，别只看单一分数
我在测旋转任务时发现一个有趣现象：A手成功率稍低，但每次操作角度误差更小，轨迹更平滑；B手成功率略高，但角度误差波动大，偶尔还会猛冲一下。如果你只报成功率，B手就“赢”了；但从实际体验来说，A手的操作品质明显更好。
多指灵巧手的基准很少能用一个单一分数完全概括。成功率代表“能完成多少”，操作时间代表“效率如何”，误差指标代表“精度怎样”，力峰值代表“安全性如何”。它们之间存在天然矛盾，追求速度就会牺牲精度，追求精度又会增加时间。
所以我在报告结果时，一向主张做“指标组合分析”：不要只报一张表，而是画出成功率-时间的散点图、误差-力峰值的分布图，让读者看到的是系统全貌。选型的团队也能根据自己的应用场景挑最重要的指标做决策。
4.3 仿真分数别太当真，Sim-to-Real那一脚必然要踢
灵巧手基准测试现在越来越依赖仿真，因为仿真可以低成本大批量跑数据。但仿真永远无法完全模拟真实世界的接触摩擦、结构形变、延迟抖动等细节。一个在MuJoCo里成功率95%的策略，转到真机可能只有60%。这不是算法退步，而是仿真和现实之间的gap天然存在。
这里有两个实战建议。
第一，评估学习类基准时，一定要同时报告仿真指标和真机迁移指标。只报仿真指标的工作，在我这里默认减一半可信度。第二，仿真环境要带足“域随机化”。即随机化物体的摩擦系数、质量、尺寸，让策略在仿真里见过足够多“不一样的世界”，这样才能提高迁移到真实场景后的稳定性。
提示：如果你发现同一个策略在仿真里表现不错，但真机一测就崩，优先检查摩擦力矩和关节延迟——这两个参数在仿真里最容易被随意配置，实际影响却最大。
4.4 常见问题速查表
把我在多个项目里遇到的典型问题整理成一张表，方便自查：
| 症状 | 常见原因 | 排查思路 |
|---|---|---|
| 成功率高但重复性差 | 初始位姿固定，存在“背题”效应 | 加入随机化初始位姿，扩大采样区间 |
| 分数高但迁移性差 | 只在单一物体上测试 | 换成YCB多物体子集，补充泛化测试 |
| 两次测试结果差异大 | 传感器时间戳未统一校准 | 检查时钟同步，校准后再测 |
| 力控表现时好时坏 | 力传感器零漂或温漂 | 每次测试前做零点和量程校准 |
| 仿真分数虚高 | 奖励函数泄露了“作弊路径” | 检查策略是否利用了仿真物理bug |
| 指标不知道选哪个 | 任务目标和约束没想清楚 | 先定义应用场景，再反推关键指标 |
5. 多指灵巧手基准测试，下一步会往哪里走
从关注单点操作精度，到关注长时程、动态、协同能力，这是我能看到的大趋势。基准测试本身也会越来越像一套“能力评估体系”，甚至逐渐与AI模型能力评测融合。
5.1 从单动作到复合任务与长时程评估
现在的多数基准测试都是一个动作定胜负，比如抓、转、插。但真实工作场景很少只有单个动作：你要先抓住螺丝刀，再将其移动到螺丝位置，再完成拧紧。这一连串动作之间的切换、过渡、失败恢复能力，才是“灵巧”的真正体现。
我预判未来的基准测试会引入复合任务模式，比如“拿起钥匙-插入锁孔-旋转-拔钥匙-放回原位”这样的完整链条。评测指标也相应从单步成功率变成“任务级成功率”和“失败恢复时间”。这种测评更接近实际应用，也更难做，因为它对场景设计和数据管理的要求比单任务高一个台阶。
从数据上看，复合任务的测评时长会大幅增加。过去一次测试几十秒算长的，未来一次测试持续几分钟会很常见。这也意味着数据采集系统要保持长期稳定运行，中间不能断电、不能断同步、不能缓存污染。
5.2 动态操作与双手协同：从“慢工细活”到“接得住飞来的球”
目前大多数灵巧手基准测试都在“静态或准静态”条件下完成，物体要么静止、要么缓慢移动。但真实世界中有大量动态场景，比如接住掉落的物体、在传送带上分拣、双手配合拆卸组件。
动态操作对灵巧手的评估引入了两个新维度：时间约束下的实时规划能力，以及高速运动的力/位混合控制能力。这类测试的指标也从“最终误差”扩展为“全程跟踪误差”和“最大可处理速度”。例如我可以设置一个“飞行抓取”任务，让小球以不同速度和角度落下，手必须在落地前抓住它，记录最大可抓取速度和对应成功率。
双手协同评测则是另一个刚起步的方向。两个手系统之间的坐标标定、力协调分配、相对运动控制，都是以前单手臂评测完全没覆盖的新考点。这个领域标准非常稀缺，但我觉得它未来的重要性会越来越高，因为工业装配里大量工作本来就是双手协同完成的。
5.3 从“灵巧手考试”到“灵巧手能力评估体系”
更值得关注的是，基准测试正在慢慢融入更大范围的智能体能力评估。业界讨论“衡量AI创新能力的基准测试”时，操作能力已经成了一个绕不开的维度。多指灵巧手作为物理世界交互的末端载体，其评测结果也在反映一个智能体在物理世界中的学习、规划、适应能力。
我判断未来的趋势是：灵巧手基准不再是一个孤立的“机器人赛事”，而会成为具身智能大模型能力评估的一个子模块。它和视觉-语言操作基准（比如VIMA、RT-1的评估方式）结合，形成一套“感知-决策-执行”的闭环评分体系。到那个时候，你评估的就不只是一双手，而是“给一双物理的手赋予智能”的整条技术链路。
这种转变对基准设计者提出了更高要求：任务要足够开放，允许不同技术路线百花齐放；指标要足够鲁棒，不能偏向某一种特定实现；数据要足够标准化，支持跨团队、跨硬件、跨仿真器的横向对比。这是一件很难但很有价值的事情，也是我目前最看好的方向。
最后的几句实在话
做基准测试这几年，我最大的体会是：好的基准不是给别人“设门槛”，而是给整个领域“搭台阶”。它看起来只是一堆任务定义和指标表格，实际上是在逼着大家说清楚“你的手到底能干什么、能干到什么程度”，逼着研究者把那些藏在演示视频背后的条件全部摆到台面上。
如果你正在设计自己的灵巧手基准测试，我的建议很简单：初始条件写精确，成功判定写清楚，随机化做到位，原始数据留全，协议文档公开。做到这五条，你的基准就能超越很大一部分现有的工作。
最后再分享一个实操小技巧：每次跑完一轮测试，先别急着调算法，回看一遍同步数据里的力曲线和位姿轨迹。很多时候，问题不是出在控制端，而是出在机械结构微小的松动或者传感器零点偏移上。基准测试是你的“体检仪”，但它只能告诉你哪里疼，治病的逻辑还得靠你去机械、电路、算法各个层面一层层排查，这也是灵巧手这个方向最有趣的地方。
