强大AI模型的常见故事,也是一个数据中心的故事:成排的显卡、一张电费单,以及你的数据离开这台设备。
北京一家不大的实验室把这套叙事翻了过来。面壁智能做了一个塞得进口袋的模型——它听、它看、它回话,全程不需要联网。
关键要点
- MiniCPM-o 2.6是面壁智能的端侧全模态大模型,由面壁与清华、OpenBMB社区共同推进。
- 参数总量只有8B,团队称其在视觉、语音和实时多模态流式三项上达到GPT-4o-202405的水平。
- 输入可以是图像、视频、文本、音频,输出是文本或语音,端到端一体,能在iPad这类设备上跑起来。
- 2025年1月发布,随后几天登上GitHub趋势榜,说明开发者对"私有、可携带的AI"确有需求。
去掉术语,"全模态"是什么
大多数聊天机器人是文字进、文字出。全模态的意思是:它能同时处理几类信息——一张照片、一句说出来的问题、一段视频——然后用你要的方式回应,包括用说的。
最后这一项最难。边给模型看实时画面、边和它对话,还要延迟低,这是OpenAI用GPT-4o演示过、而多数开源模型至今做不好的事。面壁的说法是:它把这个差距补上了大半,而体积只有对方的零头。
小数字,大野心
80亿参数听起来不小,但和动辄千亿的头部模型比,它很小。诀窍在效率。团队用了一个叫"高token密度"的做法:看一张高分辨率图片时,把它压缩成远少于同行的内部token——1.8兆像素的图片只产生640个token,比多数模型少约75%。
token少了,内存占用就小、功耗就低、延迟就短。这才是它能待在平板上、而不是待在机房里的原因。
在OpenCompass(综合8个主流多模态基准)上,它的平均分是70.2。团队据此主张:以这个体量,它在单图理解上超过了不少更大的闭源系统,在多图和视频任务上也不落下风。这些比较来自实验室自己的测试,所以更准确的读法是"这个尺寸下很能打",而不是"全面最强"。
端侧为什么和你有关
模型跑在云上,你的照片、声音、问题就要去别人的服务器。模型跑在你的设备上,数据留在你手里。
对看片子的医生、练口语的学生、以及任何不愿意把私人材料传到远方机房的人来说,端侧模型既是技术问题,也是隐私问题。
语音那一半也值得一提:中英双语实时对话、可配置音色、情绪与语速控制,甚至能做端到端的音色克隆。这些能力在开源模型里属于少见的一档,也是它被拿去做口语陪练、陪伴类应用的原因。
它还有个副作用:离线可用。没有订阅、没有API账单、断网也不会停服。这改变了"谁能用上有能力的AI"——不再只是网速快、有企业预算的人,而是任何一个手里有平板的人。
"GPT-4o级"背后的那个括号
面壁对标的是GPT-4o在2024年5月的版本,一个OpenAI此后已经迭代过好几轮的早期版本。所以"比肩GPT-4o"指的是几个月前的某个快照,不是今天最快的模型。
作为一个里程碑,这个比较是公平的:它证明了一个极小的开源模型能摸到那条线。但把它读成2026年的性能优势,就过头了。
诚实的局限
"GPT-4o级"是对着一个有日期的checkpoint、由实验室自己评测得出的,不是独立第三方。端侧运行需要适配的应用和足够的内存,所以它并不是"任何手机都行"。80亿参数对前沿模型来说仍然很小,在最难的推理和超长文档上,它依然会输给大得多的系统。语音和视频质量在开源里算强,但和调优更久、投入更多的顶级闭源产品比,还差一步。
普通人现在能做什么
- 你手上有较新的iPad,可以装上MiniCPM-o的演示应用,在完全离线的情况下做一次"边看边聊",感受一下端侧AI。
- 你做产品,可以试着先做一个不经云端的功能——本地照片或语音助手——看看体验能到什么程度。
- 你在意数据权利,可以把它当作一个具体例子:有能力的AI,不一定要以"把你的数据送走"为代价。