BLOG / 2026.11.11
给灵巧手装上触觉传感器,并不等于动作模型会用这些读数。蚂蚁灵波科技(Robbyant)开源的触觉基础模型 LingBot-Touch,补的正是这一层:把三类主流触觉信号收成一套共享表征。
论文《Learning Heterogeneous Tactile Representation for General Dexterous Manipulation》于 11 月 9 日 18:12 UTC(北京时间 11 月 10 日 02:12)提交到 arXiv。
GitHub 仓库创建于北京时间 11 月 9 日 17:02,项目页、权重和推理代码一并公开。量子位在 11 月 10 日 15:57 跟进报道。下文数字只取自官方仓库、项目页和论文,本站没有做真机实验。
论文把真机结果概括为:在 26 项真实双臂任务上,把冻结的 5.46M 参数编码器接入四条现成策略,平均成功率提高 14 到 26 个百分点。
开源的是传感器和策略之间的一层
LingBot-Touch 的目标写在论文标题里:先学一套跨异构触觉传感器的表征,再接到通用灵巧操作上。
项目页和仓库 README 都把它说成基于 JEPA 的触觉表征模型:磁触觉、压阻式、视触觉各有入口,后面共用一个 Haptic Transformer,在潜空间做掩码预测。

官方语料写得很具体。项目页和论文 Figure 2 给出的预训练总量是 4,983 小时、464,431 段交互、约 13.3 亿帧。
按原理拆开,压阻 2,197 小时、磁触觉 1,136 小时、视触觉 1,650 小时。行文里也写作大约 5,000 小时,精确值以 4,983 为准。
语料来自人戴触觉手套的第一人称记录,以及遥操作机器人手,覆盖 24 类任务,不是单一实验室里的一种传感器。
两种来源的比例也写明了:手套约占三分之二,遥操作约占三分之一。手套用压阻和磁触觉两类;遥操作是装 Sharpa Wave 灵巧手的双臂系统,指尖为视触觉传感器,也就是后面真机实验部署的那只手。
这批数据只标到片段级的任务类别,没有任何片段带受力、接触位置或接触时刻的标注。论文选在潜空间做预测,理由正是触觉信号稀疏、又没有标签。
权重分两档:Tiny(也称 HaT-Tiny)5.46M 参数,Small 21.76M 参数。论文写,Tiny 给所增强的策略增加的参数不到 0.2%。媒体常见的「约 530 万」与官方数字对不上,本文只用 5.46M。
26 项真机提高了多少,先看条件
论文结果节写清了 26 项任务上的四条平均:
- Diffusion Policy:21.6% → 35.6%,提高 13.9 个百分点
- π0.5:48.1% → 69.9%,提高 21.8 个百分点
- LingBot-VLA:48.3% → 73.1%,提高 24.8 个百分点
- T-Rex:45.4% → 68.6%,提高 23.2 个百分点
开篇的「14 到 26 个百分点」是论文自己的概括,要和这四个精确平均并列看——Diffusion Policy 的 13.9,还略低于概括的下限。

这些数字带着明确前提。Table 2 注明:真机表用的是 HaT-Tiny,预训练数据为 4,000 小时,不是全量 4,983 小时。
LingBot-Touch 只在后训练阶段以冻结 Token 接入,不参与任何基线策略的预训练。每项任务 20 次试验;26 项里 Sharpa Wave 20 项、XHand1 6 项。
拧瓶盖是最直观的一例。Sharpa Wave 上,T-Rex 在 Table 2 的三档是:原始策略 56.25%,加原始触觉 62.50%,加 LingBot-Touch 表征 90.00%。
论文的解释是:画面里看不清瓶盖是否已经松动、指腹是否在打滑,触觉表征正好补上这一步。
有触觉不等于更稳,原始读数有时会帮倒忙
论文专门设了对照:把传感器读数直接喂给策略,用来区分「装了触觉」和「理解了触觉」。
结果是,四条策略加原始信号后,平均只提高 7.0、6.6、8.2 和 11.2 个百分点,最多大约是表征方案的一半。104 个任务-策略组合里,有 22 个反而变差。
掉得最狠的几例:LingBot-VLA 麻将分拣从 28.8% 降到 5.0%,XHand1 递鸡蛋从 65.0% 降到 28.8%;π0.5 拉拉链从 39.0% 降到 15.0%。
项目页还给了接触力恢复、接触面积估计和未来受力预测的真机可视化。下面这段视频来自项目页,是官方记录的触觉信号与冻结编码器读出,不是本站拍摄。
预训练里没见过的手,仍然能用这套 Token
迁移是这次发布里更值得盯的一点。论文写,XHand1 所用的磁触觉传感器型号不在预训练数据里,编码器也没有为它再训练。冻结特征在这只手的五项接触探测任务上,全部超过接了专用适配器的 FTP-1。
在它的 6 项任务上,原始信号几乎帮不上忙:四条策略的平均变化是 +4.6、−1.7、0.0 和 +2.0 个百分点。同一套信号经 LingBot-Touch 编码后,相对各自原始策略分别提高 16.3、24.5、17.8 和 13.8 个百分点。
这也是它和「再训一只专用触觉模型」的差别。官方把它放在传感器和动作模型中间,Diffusion Policy、π0.5、LingBot-VLA、T-Rex 都能接;仓库推理示例同时覆盖 Sharpa 视触觉和 XHand 磁触觉两个分支。
官方还提醒下游:别默认对 Token 做逐点线性投影或简单的均值/最大池化,最好用注意力查询去读。经过自注意力后,单个 Token 已经融合了其他触点和时间位置的信息。
能下载,还不等于车间指标已经换代
目前公开的是推理代码、示例触觉数据,以及 Tiny、Small 两档在大约 5,000 小时数据上预训练的权重,许可为 Apache-2.0。
规模效应也有边界。论文写,Small 在 1,000 到 5,000 小时的探测任务上单调变好,Tiny 大约在 4,000 小时附近饱和。
仿真里另有 12 项强化学习任务。论文写,LingBot-Touch 特征在全部 12 项上成功率和回报都最高:按任务平均成功率 69.0%。
对比组里,任务专用 CNN 特征 45.6%、原始触觉 38.5%、二值接触 30.3%、无触觉 21.4%。
其中转盘任务 97.4%(对比组最好 82.9%),转笔 97.1%(对比组最好 64.2%)。这些是模拟器结果,不能和 26 项真机平均混在一起算。
说到底,这些仍是实验室和指定灵巧手上的成功率。换物体、换布局、换车间节拍后还稳不稳,官方没有给产线验收数字,本站也没有部署这些编码器。
Unsere Einschätzung:LingBot-Touch 真正值得看的,是把三类触觉收成可迁移 Token 之后,没见过的手也能把成功率拉起来。但 Table 2 用的是 4,000 小时的 Tiny、冻结后训练接入,不能把 4,983 小时的语料规模直接写成已经可替换产线手感。
Weiterführende Links
- Robbyant:LingBot-Touch 项目页
- arXiv:Learning Heterogeneous Tactile Representation for General Dexterous Manipulation
- GitHub:Robbyant/lingbot-touch
- 量子位:从“一脑多机”到“一脑多手”,蚂蚁灵波开源LingBot-Touch


评论列表 (0条):
加载更多评论 Laden...