11 月 18 日,浙江大学与宇树科技的具身智能联合实验室,开源了一套叫 Movens-5M 的数据集。
500 万条机器人动作,全部在仿真环境里跑过一遍。配套还有 1500 万条人体动作,总时长超过 1 万小时。
论文 10 月 30 日就挂上了 arXiv,编号 2610.41877。11 月 18 日是数据集和模型一起放出来的日子。
每条动作平均七秒
1 万小时除以 500 万条,平均每条 7.2 秒。
这个数跟论文里的样例对得上。一段擦门板的视频 7.25 秒,被切成三段:0 到 4 秒俯身擦中下部,4 到 6 秒直起身,6 到 7.25 秒双臂上抬。每段都标了哪只手在动、动到哪。
数据集覆盖 297 种细分动作、16 类场景,从拖地、深蹲到拳击都有。
五道工序,把人的动作改给机器人
原始视频不能直接喂给机器人。人和 G1 的身高、关节角度、平衡方式都不一样。
团队做了五道工序:按镜头切片段;筛掉画质差、动作信息不足的;补场景与分部位的文字标注;从画面里估计人体三维姿态;最后修掉抖动、重定向到 G1 的骨架,再放进仿真里验证能不能站稳。
这套流水线跑完,才有 1500 万条人体动作和 500 万条机器人动作。中间任何一道筛得太松,后面训练出来的动作就会抖。
规模效应被量化了
论文做了一组规模实验。固定 910.5M 参数的动作专家,把训练数据从 1% 加到 100%,去重后的动作时长从 122 小时涨到 12231 小时。
结果写在论文里。文字与动作的匹配得分从 12.72% 升到 62.57%;视频输入下的动作误差从 132.82 毫米降到 40.90 毫米,降了 69.2%;语音指令匹配从 13.98% 升到 74.30%;音乐节拍对齐从 0.23 升到 0.61。
第二组实验固定数据,只放大动作专家,从 64.2M 一路加到 910.5M。验证集损失从 0.487 降到 0.159,降了 67.4%。
还有一个更细的发现:同样把数据从 10% 加到 100%,小模型 R@3 提升 62.5%,大模型提升 151.1%。
数据多的时候,大模型吃得更多。这句话对做算力规划的人有直接意义。
能跳舞,不等于能干活
演示里,输入一句「Dance some hip-hop」,G1 就跳起来;说「Salute with your left hand」,它抬手敬礼;给一段音乐,它跟着节拍走;给一段视频,它照着做。
这些演示很好看,但都是短动作、单任务、受控环境。
数据集本身也有边界。所有动作都是围绕 G1 适配的,换一副骨架要重新做一遍;从互联网视频到真机执行,中间隔着仿真与现实的差距,论文用 MPJPE 量了这个差距,没有消除它;训练数据来自公开视频,版权与肖像的合规问题,论文没有展开。
500 万条是个很硬的数字。它证明的是动作数据可以规模化生产。它没有证明的是,规模化之后机器人就能在工厂里连续干八小时。
这两件事之间,还隔着一层本体可靠性和一层现场调试。
说明:本文数据出自论文 2610.41877 与项目主页,并参照机器之心报道;7.2 秒系笔者相除,不构成任何投资建议。