一部手机放在桌上,同时看着白板、听着声音,然后用选定音色开口回答。没有服务端往返,没有云端账单,也没有请稍候。这正是面壁智能为其2025年1月发布所演示的场景,它与又一次榜单登顶相比,是另一种意义上的里程碑。
关键要点
- 面壁智能与OpenBMB团队于2025年1月24日发布MiniCPM-o 2.6,此前该项目已登顶GitHub趋势榜。
- 这是一个80亿参数的任意到任意多模态模型:图像、视频、文本、音频输入,文本与语音输出。
- 据OpenBMB介绍,该模型在OpenCompass上达到GPT-4o级别的单项图像理解水平,并支持中英双语实时语音对话。
- 模型采用Apache-2.0授权,体积足够小,可在iPad等终端设备运行。
- 它把一张180万像素图像压缩为仅640个视觉词元,比多数模型少约75%,这正是端侧流式处理得以实现的原因。
- 它覆盖30多种语言的视觉语言任务,并支持语音克隆、情绪与语速控制。
一个会听、会看、会说的模型
多数开源多模态模型是失衡的:读图强、说话弱,边看视频边对话更是做不到。MiniCPM-o 2.6试图补上这块缺口。它接受图像、视频、文本与音频作为输入,返回文本与语音,且是端到端流水线,而非把多个独立模型拼在一起。
其80亿总参数由几部分拼成:SigLip视觉编码器、Whisper-medium语音编码器、ChatTTS语音解码器,以及Qwen2.5-7B语言主干。关键不在零件清单,而在结果——一次下载就能就摄像头所见进行实时语音对话。
为什么80亿能装进口袋
这事之所以是新闻,在于体积。80亿参数模型可经量化后在平板或现代手机上运行,而这正是OpenBMB营销的落脚点:手机上的GPT-4o级多模态大模型。团队称该项目于2025年1月19日登顶GitHub趋势榜,几天后技术报告发布,足以说明社区对端侧这一角度的兴趣。
本地运行改变了隐私与成本逻辑。诊所、教室或工厂产线可以把模型与数据都留在单台设备,没有按次调用的接口费,也没有数据离开建筑。这正是项目显而易见的目标用户,即便炫目的演示只是一部会说话的手机。
GPT-4o级别到底指什么
OpenBMB自己的数字需要常规保留。在覆盖八个主流基准的OpenCompass上,MiniCPM-o 2.6取得70.2的平均分,团队称其在单项图像理解上超过GPT-4o-202405、Gemini 1.5 Pro与Claude 3.5 Sonnet,尽管仅有80亿参数。它还称在语音识别与语音转文本翻译等音频理解任务上胜过GPT-4o-realtime。
这些是实验室所选的对比,并非独立审计,而GPT-4o级别是针对特定子任务的简写,不等于全面持平。公允的看法是:在图像理解与语音理解这些窄任务上,这个小型开源模型能与大得多的闭源系统竞争,这本身就有用,即便它并非在每个维度都真成GPT-4o。
词元效率的窍门
值得理解的技术杠杆是词元密度。MiniCPM-o 2.6把一张180万像素图像编码为仅640个视觉词元,OpenBMB称比多数模型所需少约75%。词元更少意味着内存更小、延迟更低、功耗更少——这三点决定了模型能否在电池供电设备上流畅运行。
这正是连续视频与音频流能在脱离云端后成立的原因。团队描述了一种时分复用方案,把并行流打包成紧凑的每秒片段供语言模型顺序处理,于是助手可以边看边听并回应,不必等整段视频上传完毕。
诚实的局限
MiniCPM-o 2.6是研究型发布,并非成品消费应用,所谓在手机上运行依赖量化、较强设备与一定配置,对多数用户尚不是一键即用的应用。与GPT-4o、Claude的对比来自OpenBMB自身选定的基准,不应读作独立验证。与所有端侧模型一样,它以精度换体积:80亿系统会在罕见语言或复杂推理上漏掉700亿以上模型能捕捉的内容。语音克隆与情绪控制固然有趣,也带来明显的滥用隐忧,而项目授权与本地部署本身并不能解决。
普通人现在能做什么
- 先跑演示再下结论。从Hugging Face或OpenBMB的GitHub拉取MiniCPM-o 2.6,试用实时语音与视频演示,端侧体验才是真正故事,而非基准分数。
- 用你自己的图片对比云端模型。把你所在领域的照片交给它,与一个闭源多模态接口对比答案,会迅速看出80亿体积让你付出了什么。
- 若部署请围绕量化与隐私收益设计。对教室、诊室或门店而言,真正的价值是数据本地化与免按次收费,应围绕这一点而非处处追平GPT-4o来设计集成。