脑机网 脑机网LOGIC.WANG
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章
ESC

智能机器人|五百万条动作,是从别人视频里抠的?

11 月 18 日,浙江大学与宇树科技的具身智能联合实验室,开源了一套叫 Movens-5M 的数据集。

2026-11-20 · 1191 字 · 脑机网信息截止 2026-11-20

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

11 月 18 日,浙江大学与宇树科技的具身智能联合实验室,开源了一套叫 Movens-5M 的数据集。

500 万条机器人动作,全部在仿真环境里跑过一遍。配套还有 1500 万条人体动作,总时长超过 1 万小时。

论文 10 月 30 日就挂上了 arXiv,编号 2610.41877。11 月 18 日是数据集和模型一起放出来的日子。

每条动作平均七秒

1 万小时除以 500 万条,平均每条 7.2 秒。

这个数跟论文里的样例对得上。一段擦门板的视频 7.25 秒,被切成三段:0 到 4 秒俯身擦中下部,4 到 6 秒直起身,6 到 7.25 秒双臂上抬。每段都标了哪只手在动、动到哪。

数据集覆盖 297 种细分动作、16 类场景,从拖地、深蹲到拳击都有。

五道工序,把人的动作改给机器人

原始视频不能直接喂给机器人。人和 G1 的身高、关节角度、平衡方式都不一样。

团队做了五道工序:按镜头切片段;筛掉画质差、动作信息不足的;补场景与分部位的文字标注;从画面里估计人体三维姿态;最后修掉抖动、重定向到 G1 的骨架,再放进仿真里验证能不能站稳。

这套流水线跑完,才有 1500 万条人体动作和 500 万条机器人动作。中间任何一道筛得太松,后面训练出来的动作就会抖。

规模效应被量化了

论文做了一组规模实验。固定 910.5M 参数的动作专家,把训练数据从 1% 加到 100%,去重后的动作时长从 122 小时涨到 12231 小时。

结果写在论文里。文字与动作的匹配得分从 12.72% 升到 62.57%;视频输入下的动作误差从 132.82 毫米降到 40.90 毫米,降了 69.2%;语音指令匹配从 13.98% 升到 74.30%;音乐节拍对齐从 0.23 升到 0.61。

第二组实验固定数据,只放大动作专家,从 64.2M 一路加到 910.5M。验证集损失从 0.487 降到 0.159,降了 67.4%。

还有一个更细的发现:同样把数据从 10% 加到 100%,小模型 R@3 提升 62.5%,大模型提升 151.1%。

数据多的时候,大模型吃得更多。这句话对做算力规划的人有直接意义。

能跳舞,不等于能干活

演示里,输入一句「Dance some hip-hop」,G1 就跳起来;说「Salute with your left hand」,它抬手敬礼;给一段音乐,它跟着节拍走;给一段视频,它照着做。

这些演示很好看,但都是短动作、单任务、受控环境。

数据集本身也有边界。所有动作都是围绕 G1 适配的,换一副骨架要重新做一遍;从互联网视频到真机执行,中间隔着仿真与现实的差距,论文用 MPJPE 量了这个差距,没有消除它;训练数据来自公开视频,版权与肖像的合规问题,论文没有展开。

500 万条是个很硬的数字。它证明的是动作数据可以规模化生产。它没有证明的是,规模化之后机器人就能在工厂里连续干八小时。

这两件事之间,还隔着一层本体可靠性和一层现场调试。

说明:本文数据出自论文 2610.41877 与项目主页,并参照机器之心报道;7.2 秒系笔者相除,不构成任何投资建议。

数据与信源

信息截止 2026-11-20。文中数据以该日期前已公开的信息为准。

本文引用 公开报道与公司公告(未逐条列示)。

本站历史文章在正文中标注了来源机构与时间,但未逐条附原始链接。如需核验文中任一具体数字,请在评论区注明段落与数据,我们会在 2 个工作日内补出处。

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

查看「智能机器人」更多内容 → · 返回首页

引用本文

欢迎媒体、智库与研究机构引用。引用时请注明来源「脑机网」并保留原文链接,同时保留文章页标注的「信息截止」日期。转载规则见 引用与转载规范。

GB/T 7714脑机网编辑部. 智能机器人|五百万条动作,是从别人视频里抠的?[EB/OL]. (脑机网)[2026-11-20]. 北京: 脑机网, https://aiai.cafe/a/njw-180bf0. 2026-11-20.
APA脑机网编辑部. (2026, November 20). 智能机器人|五百万条动作,是从别人视频里抠的?. 脑机网. https://aiai.cafe/a/njw-180bf0
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章