演示视频里,一个人弯腰擦门,又伸手去够高处。片刻之后,一台人形机器人把同一串动作重定向到自己更短的胳膊和更僵的关节上,仿真器再检查它能否站稳。没有一帧来自动作捕捉棚。
这是Movens-5M的基本单元。2026年11月,浙江大学、宇树科技与双方的具身智能联合实验室发布该数据集,合作方包括微软研究院、北京大学与新加坡国立大学。
到底发布了什么
Movens-5M包含500万条机器人可执行动作序列与1500万条人体动作序列,合计超过1万小时。动作覆盖297个细粒度类型——行走、下蹲、拖地、拳击等——横跨16类场景,如家务、健身与户外休闲。
不寻常之处在对齐。每段片段都配有文本指令、视频演示、语音与音乐,外加身体各部位的分时段描述。部分样本还带时间戳字幕、恢复出的三维姿态与机器人的仿真执行。
与数据一同发布的还有Movens-Zero,一个「理解—生成—执行」架构,可接收四类输入并在宇树G1上产出全身动作;以及Movens-Intent,一个含8192对专家核验「条件—动作」配对的基准,覆盖文本、语音、音乐与视频。
论文10月底出现在arXiv(2610.41877);数据集、模型与基准在11月18日引发关注,数据集托管在Hugging Face,项目有公开主页。
一段扫地视频怎么变成训练数据
把网络视频转成机器人动作,不是下载即用。团队描述了五阶段自动化流水线。
片段生成按镜头边界切分长视频;质量过滤剔除人物不清晰或动作信息稀薄的材料;语义标注补上场景与动作描述,并按时间段与部位拆解;动作恢复逐帧估计三维姿态;物理精修修正抖动与失稳,把动作重定向到G1的比例与关节限位,再仿真验证机器人能执行而不摔倒。
最后一步才让「机器人可执行」这个标签有意义。人的动作不会自动成为机器人的动作:比例不同、关节范围不同、平衡要维持。仿真中G1的跟踪画面,就是检验转换是否成功的地方。
它也划出了数据集的诚实边界:Movens-5M是在一个机器人身体上通过仿真验证的,而验证不等于可靠的实体部署。
一个模型,四种指令
Movens-Zero用理解模块处理文本、语音、音乐或视频,再由单一的「动作专家」把输入与机器人当前状态结合,规划动作,最后由控制器下发关节指令。
演示中,文本提示「跳一段嘻哈」能产出嘻哈舞,无需参考视频;「左手敬礼」的语音指令产出敬礼;音乐驱动踏步与上半身动作;一段网络或现场拍摄的视频被转换成机器人可行的动作。
缩放曲线才是真正的故事
标题数字是500万条。更有信息量的是训练集与动作专家变大时发生了什么。
把最大的动作专家固定为9.105亿参数,训练数据从1%扩到100%——约122小时到超过1.2万小时去重动作。文本到动作匹配(R@3)从12.72%升到62.57%;视频动作误差(MPJPE)从132.82毫米降到40.90毫米,降幅69.2%;语音匹配从13.98%升到74.30%,音乐节拍对齐从0.23升到0.61,跟踪分数从0.21升到0.72。
第二个实验固定数据,把动作专家从6420万参数扩到9.105亿,验证集流匹配损失从0.487降到0.159,降幅67.4%。另一组不同基线的实验中,跟踪从0.18升到0.72。更大的专家也从同样的新增数据中获益更多:文本到动作匹配上,数据从10%扩到100%,最小的专家从6.34%升到10.30%,最大的从24.92%升到62.57%。
这些是作者自己的实验,不是独立基准。但方向本身就是重点:机器人领域难得一次,更多数据加更大模型带来了可测量、单调的提升,而不是平台期。
关键要点
- 浙江大学、宇树科技与合作方发布Movens-5M:500万条仿真验证的人形机器人动作与1500万条人体动作,超过1万小时。
- 数据由网络视频经五阶段流水线生成,把人体动作重定向到宇树G1并在仿真中验证。
- Movens-Zero能从文本、语音、音乐或视频生成全身动作,并在G1上执行。
- 数据从1%扩到100%,视频动作误差下降69.2%,文本到动作匹配提升到原来的数倍。
- 配套基准Movens-Intent含8192对专家核验样本。
诚实的局限
上述性能数字都来自研究团队自己的论文与缩放实验,我没有找到独立复现。
仿真验证不等于真实可靠性。公开演示都在单一平台宇树G1、受控环境中运行;论文没给出长时间、非结构化实体任务的成功率,动作能否迁移到别的身体也未确立。
用网络视频构建数据集,涉及素材授权与来源同意的问题,技术报告没有完全解决。发布说明没写明商用条款,开发者商用前应自阅数据集许可。数据集与模型刚发布不久,社区测试还很有限。
普通人现在能做什么
- 如果你在做具身系统,先下载数据、先看许可。 价值在配对的多模态与分时段描述,不只是动作条数。
- 评估机器人宣称时,把仿真验证与实体部署分开。 「仿真中可执行」是真实贡献,但不是车间里的保证。