脑机网 脑机网LOGIC.WANG
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章
ESC

面壁智能MiniCPM-o 2.6:把GPT-4o级视觉与语音装进手机

一部手机放在桌上,同时看着白板、听着声音,然后用选定音色开口回答。没有服务端往返,没有云端账单,也没有请稍候。这正是面壁智能为其2025年1月发布所演示的场景,它与又一次榜单登顶相比,是另一种意义上的里程碑。

2026-11-14 · 1810 字 · 脑机网信息截止 2026-11-14

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

一部手机放在桌上,同时看着白板、听着声音,然后用选定音色开口回答。没有服务端往返,没有云端账单,也没有请稍候。这正是面壁智能为其2025年1月发布所演示的场景,它与又一次榜单登顶相比,是另一种意义上的里程碑。

关键要点

  • 面壁智能与OpenBMB团队于2025年1月24日发布MiniCPM-o 2.6,此前该项目已登顶GitHub趋势榜。
  • 这是一个80亿参数的任意到任意多模态模型:图像、视频、文本、音频输入,文本与语音输出。
  • 据OpenBMB介绍,该模型在OpenCompass上达到GPT-4o级别的单项图像理解水平,并支持中英双语实时语音对话。
  • 模型采用Apache-2.0授权,体积足够小,可在iPad等终端设备运行。
  • 它把一张180万像素图像压缩为仅640个视觉词元,比多数模型少约75%,这正是端侧流式处理得以实现的原因。
  • 它覆盖30多种语言的视觉语言任务,并支持语音克隆、情绪与语速控制。

一个会听、会看、会说的模型

多数开源多模态模型是失衡的:读图强、说话弱,边看视频边对话更是做不到。MiniCPM-o 2.6试图补上这块缺口。它接受图像、视频、文本与音频作为输入,返回文本与语音,且是端到端流水线,而非把多个独立模型拼在一起。

其80亿总参数由几部分拼成:SigLip视觉编码器、Whisper-medium语音编码器、ChatTTS语音解码器,以及Qwen2.5-7B语言主干。关键不在零件清单,而在结果——一次下载就能就摄像头所见进行实时语音对话。

为什么80亿能装进口袋

这事之所以是新闻,在于体积。80亿参数模型可经量化后在平板或现代手机上运行,而这正是OpenBMB营销的落脚点:手机上的GPT-4o级多模态大模型。团队称该项目于2025年1月19日登顶GitHub趋势榜,几天后技术报告发布,足以说明社区对端侧这一角度的兴趣。

本地运行改变了隐私与成本逻辑。诊所、教室或工厂产线可以把模型与数据都留在单台设备,没有按次调用的接口费,也没有数据离开建筑。这正是项目显而易见的目标用户,即便炫目的演示只是一部会说话的手机。

GPT-4o级别到底指什么

OpenBMB自己的数字需要常规保留。在覆盖八个主流基准的OpenCompass上,MiniCPM-o 2.6取得70.2的平均分,团队称其在单项图像理解上超过GPT-4o-202405、Gemini 1.5 Pro与Claude 3.5 Sonnet,尽管仅有80亿参数。它还称在语音识别与语音转文本翻译等音频理解任务上胜过GPT-4o-realtime。

这些是实验室所选的对比,并非独立审计,而GPT-4o级别是针对特定子任务的简写,不等于全面持平。公允的看法是:在图像理解与语音理解这些窄任务上,这个小型开源模型能与大得多的闭源系统竞争,这本身就有用,即便它并非在每个维度都真成GPT-4o。

词元效率的窍门

值得理解的技术杠杆是词元密度。MiniCPM-o 2.6把一张180万像素图像编码为仅640个视觉词元,OpenBMB称比多数模型所需少约75%。词元更少意味着内存更小、延迟更低、功耗更少——这三点决定了模型能否在电池供电设备上流畅运行。

这正是连续视频与音频流能在脱离云端后成立的原因。团队描述了一种时分复用方案,把并行流打包成紧凑的每秒片段供语言模型顺序处理,于是助手可以边看边听并回应,不必等整段视频上传完毕。

诚实的局限

MiniCPM-o 2.6是研究型发布,并非成品消费应用,所谓在手机上运行依赖量化、较强设备与一定配置,对多数用户尚不是一键即用的应用。与GPT-4o、Claude的对比来自OpenBMB自身选定的基准,不应读作独立验证。与所有端侧模型一样,它以精度换体积:80亿系统会在罕见语言或复杂推理上漏掉700亿以上模型能捕捉的内容。语音克隆与情绪控制固然有趣,也带来明显的滥用隐忧,而项目授权与本地部署本身并不能解决。

普通人现在能做什么

  • 先跑演示再下结论。从Hugging Face或OpenBMB的GitHub拉取MiniCPM-o 2.6,试用实时语音与视频演示,端侧体验才是真正故事,而非基准分数。
  • 用你自己的图片对比云端模型。把你所在领域的照片交给它,与一个闭源多模态接口对比答案,会迅速看出80亿体积让你付出了什么。
  • 若部署请围绕量化与隐私收益设计。对教室、诊室或门店而言,真正的价值是数据本地化与免按次收费,应围绕这一点而非处处追平GPT-4o来设计集成。

数据与信源

信息截止 2026-11-14。文中数据以该日期前已公开的信息为准。

本文引用 公开报道与公司公告(未逐条列示)。

本站历史文章在正文中标注了来源机构与时间,但未逐条附原始链接。如需核验文中任一具体数字,请在评论区注明段落与数据,我们会在 2 个工作日内补出处。

本文为脑机网原创内容,基于公开信息与公开数据分析,不构成任何投资建议。

查看「AI大模型」更多内容 → · 返回首页

引用本文

欢迎媒体、智库与研究机构引用。引用时请注明来源「脑机网」并保留原文链接,同时保留文章页标注的「信息截止」日期。转载规则见 引用与转载规范。

GB/T 7714脑机网编辑部. 面壁智能MiniCPM-o 2.6:把GPT-4o级视觉与语音装进手机[EB/OL]. (脑机网)[2026-11-14]. 北京: 脑机网, https://aiai.cafe/a/njw-83d56f. 2026-11-15.
APA脑机网编辑部. (2026, November 14). 面壁智能MiniCPM-o 2.6:把GPT-4o级视觉与语音装进手机. 脑机网. https://aiai.cafe/a/njw-83d56f
脑机网 · 一线 AI 与脑机接口观察
每天更新,只讲能落地的技术、机器人与商业化进展。
看今日文章