机器人能把瓶盖看得清清楚楚,却仍拧不开它。指尖一接触,决定成败的信息——用了多大力、何时打滑、阻力怎么变——全藏在手指背后,摄像头看不到。11月10日,蚂蚁集团旗下灵波科技开源了补这个缺口的LingBot-Touch:用近5000小时真实触觉数据预训练的触觉基础模型,也是最早让"手感"跨机器人、传感器和策略复用的方案之一。
触觉是一种碎片化的语言
触觉本该是最容易论证的感觉。翻书页、认麻将牌、精细装配这些活里,接触状态决定成败,镜头恰好在最关键的瞬间被挡住。可市面上的触觉传感器至少分三种互不兼容的原理:磁式、视触觉和压阻式,在测量物理、通道定义、接触布局和采样率上都不同。在一种传感器上采的数据没法训练另一种模型,每换一次硬件往往要重新采数据、重新训练。就在行业极度渴求触觉数据时,这种碎片化把它顶得很贵——真机采集常每小时数百元,约合70美元上下,触觉数据更难。
LingBot-Touch的架构正是对此的回答。模型为每种感知原理分配独立编码入口,分开处理原始信号,再把接触布局映射到标准化指尖坐标系。一个共享表征网络学习接触位置、力度大小及两者如何随时间演化,输出统一的"触觉词元",任何动作模型都能用。因为编码器彼此独立,人戴触觉手套采的数据和遥操作灵巧手采的数据能训练同一个模型,也留了接入新传感器的余地。
真机测试说明了什么
灵波在Sharpa Wave和星动纪元XHand1(一款全直驱五指手)两只灵巧手上验证了模型,共26项真实操作任务,从翻页、拧瓶盖到分辨麻将牌。接上LingBot-Touch后,四个动作模型——LingBot-VLA、π0.5、Diffusion Policy和T-Rex——成功率比无触觉基线平均提升14到26个百分点。
一个案例讲透了机制。用T-Rex控制Sharpa Wave拧瓶盖:无触觉输入成功率56.25%;原始传感器信号直接喂给策略,62.5%;用LingBot-Touch表征,90%。跃升不靠更多数据而靠更好的表征——触觉模型揽下解读原始接触信号的活,让动作策略专心做动作。
还有两个结果扎眼。跨硬件迁移成立了:XHand1的磁式传感器不在预训练数据里,磁触觉经验全来自戴手套的人采数据,可在冻结编码器、只用XHand1演示训策略时系统仍有提升。部署也轻:26项测试全跑在约530万参数的Tiny版上,只给宿主模型增约0.13%到0.16%体量。权重、代码、报告已上线Hugging Face、GitHub和魔搭。伙伴帕西尼为预训练贡献1136小时真实磁触觉数据和超29.4万条交互记录。
开放数据的赌注
这次发布赶上一股潮流:真机数据成了具身智能的紧约束,开放的触觉数据集和模型正浮成公共基础设施。灵波的LingBot系列开源九个月,累计拿到GitHub三万多颗星和220万次下载,LingBot-VLA通用大脑已适配17家厂商的20种机器人。同一周开放权重有了国际回响:Runway的Praxis-1世界动作模型按Apache 2.0协议在11月11日发布,给开发者提供了一个可下载的270亿参数动作底座。两边都押注开放生态比闭源长得更快。
灵波CEO朱兴把策略讲得很直白:通用数字世界模型在改进任务推理,但可泛化的物理操作仍要靠具身基础模型本身,输入质量决定输出质量。公司计划把深度、温度等更多物理模态对齐进同一模型。
关键要点
- 11月10日,蚂蚁旗下灵波开源LingBot-Touch,用近5000小时真实触觉数据预训练。
- 把磁式、视触觉、压阻式统一成"触觉词元"表征,可跨硬件和策略复用。
- 26项真机任务上,四个动作模型比无触觉基线平均提升14到26个百分点。
- 拧瓶盖成功率从56.25%、62.5%提到90%;Tiny版约530万参数,仅增0.13%至0.16%体量。
- 权重、代码、报告已上线;帕西尼贡献1136小时数据和29.4万余条交互记录。
诚实的局限
- 性能数字出自灵波自己的技术报告,在两只特定灵巧手、26项挑选任务上自测;其他硬件或非结构化环境未验证。
- 14到26个百分点对比团队自己的无触觉基线,基线怎么选强烈影响差值。
- 跨硬件结论只靠XHand1一个案例,样本量为一次迁移。
- 触觉传感器成熟度仍是行业瓶颈,模型不会超过喂给它的传感器保真度;真产线的长期可靠性、故障恢复和维护成本还没有证据。
普通人现在能做什么
- 复现基线:方法、数据、权重全开放,最快的办法是拿自己的接触密集任务跑一遍Tiny版,和现有策略比。
- 审查传感器栈有没有"表征锁定":若触觉策略绑死在单一传感器上,就在下次采购前先试这类统一表征模型。
- 把触觉接到规划层而不只是策略层:最清晰的收益出现在接触反馈会改变任务中途决策的地方,如抓取、拧、插入,集成时先盯这些决策点。