清华团队构建 HandsOn 灵巧操作基准,66 项任务全方位评测机器人双手能力
11 小时前

清华大学丁宁团队联合多所高校及相关机构研究员,构建了面向跨本体灵巧操作的可组合仿真平台与评测基准——HandsOn,填补了灵巧手领域缺乏系统可靠评测体系的空白。该基准包含66项人工验证任务和18000条人类仿真遥操作示范,将任务分为Core-50和Transfer-16两套体系,分别用于评测学习执行能力和泛化迁移能力。HandsOn支持多种机械臂、灵巧手及不同类型物体资产的随机化组合,并能记录多步骤任务的阶段进展,定位失败环节。团队对不同技术路线的模型进行了评测,结果显示,当前多任务策略在Core-50上的最高成功率仅为29.1%,在Transfer-16上的平均成功率均低于1%,零样本的GPT-6在两类任务上的成功率也仅为5.2%和1.9%。这表明灵巧手的双手协作、精细接触、长时程状态保持等操作仍存在明显难点。目前,相关论文、代码与数据资源已全部公开,为后续灵巧操作相关研究提供了统一的可比实验条件,有助于推动行业逐步明确灵巧手操作的能力边界。