脑机网 脑机网LOGIC.WANG
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章
ESC

蚂蚁研究院发布Duo:会边说边听的世界模型,权重尚未到位

视频通话里,一个人伸手到画面外接过水杯并举起来。屏幕上那个身影——不是人,而是生成的角色——看着那只手,等了一下,然后接过杯子喝了一口。没有人点击,也没有人输入提示词。

2026-11-20 · 1880 字 · 脑机网信息截止 2026-11-20

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

视频通话里,一个人伸手到画面外接过水杯并举起来。屏幕上那个身影——不是人,而是生成的角色——看着那只手,等了一下,然后接过杯子喝了一口。没有人点击,也没有人输入提示词。

这幕像派对小把戏。团队却说,它论证的是计算机要与你共享空间必须先理解什么。

发布了什么,没发布什么

2026年11月11日,一份题为《Duo:面向全双工交互的互惠世界模型》的技术报告出现在arXiv上。项目页面把它归到蚂蚁研究院与西湖心辰(Scietrain)名下,后者是杭州的一家模型公司。论文列出20位作者,包括Zhenzhong Lan。

项目页面把报告标为可获取,列出一个魔搭(ModelScope)合集,却把GitHub代码和Hugging Face模型链接都标为"coming soon"。一些二手报道把这次发布说成包含开源权重和训练代码,项目自己的页面并不支持这种说法。写作时真正能下载的,是论文和演示材料,不是模型。

公开的方法可以被研究和批评,放出的权重可以被运行和测试。Duo v1属于前者。

支撑论点的拆分

论文的核心主张是结构性的:多数世界模型模拟物理现实——光、材质、运动——把推理当成外挂控制器。作者说这是错误的;他们提出的互惠世界模型(RWM)把智能与物理现实视为构成"世界"的同等根本的东西。

为此,Duo v1把系统拆成两个协作部分:

  • 意图(Intent)提供交互背后的认知:什么时候说,什么时候听,要不要行动。
  • 实现(Realization)生成对方真正看到和听到的、连贯的视听行为——声音、面部、动作。

两者不是先后步骤。论文用按块设定的条件、统一时间线上的同步token和模块专属注意力掩码,在块内和块间强制因果依赖,防止系统读到未来输入——这个角色没法靠偷看你接下来要说什么来作弊。

第三个设计针对分布漂移——自己生成训练历史的模型会慢慢偏离真实历史。双重展开蒸馏用自回归生成的意图token和由实现模块合成的视听历史来训练,修补跑上一阵后才出现的失效。

为什么"全双工"是有用的词

全双工是从通信里借来的术语:双方可以同时发送。用在一个生成的角色上,意味着系统持续感知音频、视频和文本,同时实时回应。它可以被打断,可以决定保持沉默,也可以注意到你捡起了什么东西。

和等消息再回答的聊天机器人不同,论文列出的场景不止对话:分享真实物体、重塑虚拟场景、引导助手,或不用鼠标键盘玩视听游戏。递水杯、角色喝掉它的演示,想展示的是感知、决策、行动的闭环,而不是画面质量。

对中国大模型行业来说,时间点耐人寻味:2026年大半年的发布都在比基准分数、上下文长度和价格,Duo v1却问系统能不能在实时互动中撑住,而不需要人类一步步委托。

诚实的疑问

有几条理由提醒不要过度解读。arXiv摘要没有任何定量性能主张,我无法核实中文科技报道里的通过率数字——无法追溯回论文或开放模型的数字,不该被当成事实。代码和模型真正可获取之前,能测试主张的只有作者,关键问题仍悬着:它在实验室之外站得住吗?

成本、延迟和硬件要求都没有说明,论文也没给出稳定会话时长。演示环境也不是真实世界:受控环境里的生成角色,离能在医院、教室或车里被信任的助手还很远,论文自己称之为第一步。

关键要点

  • Duo v1是蚂蚁研究院与西湖心辰的互惠世界模型,见2026年11月11日提交arXiv的论文。
  • 它把决定如何参与的意图,与生成同步音视频的实现分开。
  • 设计瞄准全双工交互:持续感知、自发说话、可以被打断。
  • 技术报告与演示材料公开,项目页面上的GitHub代码和Hugging Face模型仍标为"coming soon"。
  • 尚未公布独立基准、推理成本或硬件要求。

诚实的局限

我读的是arXiv摘要和官方项目页面,不是论文实验部分,超出来源的评估结果有意省略。中文媒体报道的通过率数字无法追溯到一手来源,我没有采用。

有一处差异值得指出:部分中文报道把权重、代码和报告都说成已发布,项目页面却把代码和模型标为"coming soon",我以项目页面为准。项目页面给出的归属是蚂蚁研究院与西湖心辰(Scietrain),我读到的摘要里作者名单没有写明机构。

这篇稿没有金额,不涉及汇率换算;本文解释研究方向,不是演示之外可靠性的证据,我没有测试过这个系统。

普通人现在能做什么

  • 先看论文再看标题。没有可下载权重的模型,方法描述是唯一能核实的。
  • 盯发布链接,而不是发布日。GitHub和Hugging Face的标签从"coming soon"变过来的那一刻,独立测试才成为可能。
  • 如果你在做交互产品,先想清楚打断怎么处理。会说话的智能体最难的往往不是嗓音,而是知道什么时候闭嘴。

数据与信源

信息截止 2026-11-20。文中数据以该日期前已公开的信息为准。

本文引用 公开报道与公司公告(未逐条列示)。

本站历史文章在正文中标注了来源机构与时间,但未逐条附原始链接。如需核验文中任一具体数字,请在评论区注明段落与数据,我们会在 2 个工作日内补出处。

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

查看「AI大模型」更多内容 → · 返回首页

引用本文

欢迎媒体、智库与研究机构引用。引用时请注明来源「脑机网」并保留原文链接,同时保留文章页标注的「信息截止」日期。转载规则见 引用与转载规范。

GB/T 7714脑机网编辑部. 蚂蚁研究院发布Duo:会边说边听的世界模型,权重尚未到位[EB/OL]. (脑机网)[2026-11-20]. 北京: 脑机网, https://aiai.cafe/a/njw-e890a6. 2026-11-20.
APA脑机网编辑部. (2026, November 20). 蚂蚁研究院发布Duo:会边说边听的世界模型,权重尚未到位. 脑机网. https://aiai.cafe/a/njw-e890a6
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章