--- title: "智源研究院Emu3：用单一下一词预测模型取代扩散与CLIP" date: 2026-11-14 category: AI大模型 site: 脑机网 canonical: https://aiai.cafe/a/njw-9e953e language: zh-CN --- # 智源研究院Emu3：用单一下一词预测模型取代扩散与CLIP > 一家研究机构决定不再把三台不同的机器拼起来做一个多模态系统。它不用扩散模型画图、不用CLIP编码器理解、不用语言模型说话，而是训练一个单一 Transformer 去预测下一个词元，并让这一招同时生成与读取图像和视频。这 一家研究机构决定不再把三台不同的机器拼起来做一个多模态系统。它不用扩散模型画图、不用CLIP编码器理解、不用语言模型说话，而是训练一个单一 Transformer 去预测下一个词元，并让这一招同时生成与读取图像和视频。这正是Emu3背后的赌注。 ## 关键要点 - 北京智源人工智能研究院（BAAI）发布Emu3，这是一个用同一架构同时完成生成与理解的多模态模型家族。 - Emu3仅以下一词预测训练，把图像、文本与视频都令牌化为共享的离散空间，并用一个从零训练的单一Transformer处理。 - 它可以生成图像与视频，也能理解图像与视频，且不需要扩散模型，也不需要CLIP加大语言模型的组合。 - 智源称Emu3在各自任务上胜过开源模型SDXL、LLaVA-1.6与OpenSora-1.2。 - 这个80亿参数模型及其视觉词元器以Apache-2.0在Hugging Face与GitHub开源。 - 论文《Next-Token Prediction is All You Need》于2024年9月发布，并在2025年1月并入Hugging Face Transformers。 ## 一个模型取代一套工具箱 2024年构建多模态系统的标准做法是拼装专家：用扩散模型画画、用CLIP风格编码器看世界、用预训练大模型（大模型）说话。每一块都是各自训练的网络，各有失败模式。Emu3抛弃了这套剧本。智源把图像、文本与视频视为同一种东西——词元，并训练一个单一Transformer去预测下一个词元，也就是驱动现代语言模型的同一目标。 论文标题直白地道出野心：下一词预测即一切。它直接呼应注意力即一切的脉络，主张只要先把视觉与视频变成离散词元流，那套在语言上规模化的简单目标也能规模化视觉与视频。 ## 它究竟如何工作 机制是向量量化。Emu3用一个视觉词元器把图像（或视频帧）压缩成离散词元网格，正是语言模型已经在预测的那类离散单元。文本本就是词元，视频只是一串被令牌化的帧。当一切进入同一词元空间，一个从零训练的Transformer就可以被要求续写任意混合。 这种统一带来一个干净结果：要生成图像，模型只需预测视觉词元直到填满画布；要生成视频，它按因果方式预测下一帧的词元，正如语言模型预测下一个词。要理解图像，则反过来——读取词元并写出描述。没有独立的扩散采样器，没有冻结的CLIP，也没有借来的预训练大模型。 ## 它能做什么 智源用同一检查点家族演示了三件事。Emu3-Gen根据文本提示生成图像，支持灵活分辨率与风格。Emu3-Chat读取图像并回答关于物理世界的问题。视频路径既能生成短视频，也能在给定起始视频后预测接下来发生什么——这与它所对比的OpenSora等扩散视频模型路径截然不同。 实验室的头部主张是，这个统一模型胜过了成熟的专事模型：图像生成上胜过SDXL，视觉语言理解上胜过LLaVA-1.6，视频上胜过OpenSora-1.2。这些是智源所选的对比，衡量的是窄任务而非全面能力，但一个从零训练的Transformer能在其主场站到三个专用模型之上，仍是值得记下的结果。 ## 主张与保留 一如既往，对比来自实验室自身。胜过SDXL、LLaVA、OpenSora是对智源所选特定基准的表述，不是Emu3全面更优的裁决。据我们所知，独立评测方尚未复核每一次正面对决，因此公允的读法是：智源已展示一个单一下一词模型能在三家专用模型的主场追平或胜出——这是个即便具体差距在外人复跑后变动也依然成立的结构性结果。 更深的疑问在于规模化。Emu3是80亿参数，以今日前沿标准偏小，作者将其作为下一词预测是通向超越语言的通用的多模态智能的可行路径的证据。这一路径在800亿或8000亿参数时是否持续奏效，是开放的赌注，也恰是开源权重意在让社区去检验的事。 ## 诚实的局限 Emu3是研究型发布，其基准胜利来自智源而非独立实验室，因此胜过SDXL、LLaVA、OpenSora的表述应作为待查主张而非既定事实来读。统一的下一词路径优雅却仍年轻：视频长度、分辨率与 temporal 连贯性受词元器与自回归生成多帧所需算力的约束。与所有生成模型一样，Emu3可能产生看似合理却错误的图像、描述或视频，而开源权重既降低了正当研究的门槛，也降低了滥用的门槛。发布内容没有任何暗示应把它当作关于世界的事实来源。 ## 普通人现在能做什么 - 拉取权重并运行三个演示。Emu3在Hugging Face与GitHub的BAAI名下，可试用图像生成、图像对话与视频续写，实地感受统一设计。 - 用你自己的提示词而非论文的来对比。把Emu3-Gen与SDXL、Emu3-Chat与LLaVA在你关心的任务上对照，你的领域会暴露所选基准隐藏的短板。 - 关注规模化故事。留意智源或社区是否训练更大的下一词多模态模型，有趣的主张不是80亿的持平，而是单一架构在增长时是否仍奏效。 --- 来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-9e953e 本内容仅供参考，不构成投资建议。