多模态通常的故事，是一间你按 token 租用的服务器农场。清华大学与创业公司面壁智能（ModelBest）的合作，一年多来一直在推相反的方向：小到能揣进口袋、却又好到能读文档、描述视频、语音对话的模型。
2025 年 7 月，这项工作跨过了多数开源团队从未抵达的一条线——核心研究发表在了 Nature Communications 上。这个里程碑意义不在声望，而在其主张：一个 80 亿参数的模型能媲美大它许多倍的模型，却仍能在消费级硬件上离线运行。
关键要点
- MiniCPM-V 系列由清华、面壁智能（ModelBest）与 OpenBMB 开发，面向边缘设备；那篇 Nature Communications 论文（2025 年 7 月 1 日在线发表）报告了一个 8B 模型，在 11 个公开基准上超越 GPT-4V、Gemini Pro 与 Claude 3，同时跑在手机上。
- 那个 8B 模型能处理任意长宽比的高分辨率图像，做稳健的光学字符识别，展现出较低的幻觉率，并支持 30 多种语言。
- MiniCPM-o 2.6 把系列扩展到全模态：图像、视频、文本、音频输入，文本与语音输出，在厂商口径达到 GPT-4o-202405 水平，并且它是首个在 iPad 级设备上支持多模态实时流式交互的模型。
- 研究建立在三个想法之上——高效高分辨率视觉编码器（LLaVA-UHD）、面向 30+ 语言跨语言跨模态训练（VisCPM），以及把幻觉压到低于 GPT-4V 的自动反馈方法（RLAIF-V）。
- 权重已在 Hugging Face 与 GitHub 开源；这个模型家族在中国被昵称为「小钢炮（Little Cannon）」。
把边缘约束变成设计动力
在手机上跑多模态模型，不是把云端模型缩到能塞下就行。内存、电池与散热限制逼出不同选择。清华—面壁团队把约束当作需求书：把参数压在 8B，花在对端侧要紧的地方——快速 OCR、任意长宽比图像，以及英语之外的语言。
那篇 Nature Communications 论文把这框定为一种趋势，而非一次性事件：达到给定能力水平所需的参数量，随着边缘算力的提升一直在下降，这意味着先进多模态模型将越来越多活在设备上，而非数据中心。对研究者，这解锁了云端模型根本给不了的隐私保护与离线使用。
从读图到开口回应
基础边缘模型 MiniCPM-V 2.6 在团队评测中已在单图、多图与视频理解上超过 GPT-4V，并且是首个在 iPad 上做实时视频理解的开源模型。MiniCPM-o 2.6 随后补上了让它像房间里真人的那一半：它接受流式视频与音频，并以合成语音作答，在可配置的中英文嗓音里带情感、语速与风格控制，以及端到端语音克隆。
这种全模态、双工流式的表现，是对全球读者最相关的部分。一个能看视频流、听问题、并出声回答的模型——全在一台平板上，无需往返服务器——是与躲在 API 后的聊天机器人不同的部署品类。它也是更难的工程目标，因为流式迫使模型实时处理部分输入，而非等一个完整提示。
为何是一篇 Nature 论文，又为何是现在
多模态模型发布通常落在 GitHub 仓库与榜单帖子上。一篇 Nature Communications 文章意味着团队想要让方法、而非仅仅权重，经受审视：他们如何压缩视觉 token，如何用少量多语种数据激活几十种语言，又如何用自动反馈抑制幻觉。尤其 RLAIF-V 那部分，是其他实验室可借鉴的那种可复现技术，而那正是同行评审意在浮现的东西。
对面壁智能而言，学术背书也 sharpen 了一个商业故事。公司卖的是效率——跑在手机、PC、车机座舱、机器人与可穿戴设备上的模型——而一个 Nature 招牌的结果，在企业推介里是块敲门砖，因为「我们开源了个模型」已经不够。据脑机网（BrainNet）首席科学家 Li An 的看法，边缘多模态竞赛将由那些让固定、小巧的参数预算在每个 token 上做更多有用功的团队赢下，而非由追逐下一项尺寸纪录的人。
Li An 的评论仅代表其个人观点，不代表 NeuroAI 的编辑立场或脑机网（BrainNet）的背书。
诚实的局限
- GPT-4V / Gemini Pro / Claude 3 的对比来自团队在 11 个公开集合上的自有基准；Nature Communications 论文报告了结果，但它仍是作者的评测，而非独立的。
- MiniCPM-o 2.6 的 GPT-4o-202405 水平说法是厂商自报，指的是 2024 年中期的 OpenAI 能力；它不暗示与最新 GPT-4o 迭代的等同。
- 一个 8B 模型，哪怕很强，在最难推理与最长上下文上仍落后于当前最大的多模态系统；它的优势是本地部署与小尺寸下的广度，而非绝对领先。
- 平板上的实时流式语音与视频取决于宿主设备的内存与具体 App 框架；「跑在 iPad 上」是一个最佳情况的边缘说法，而非跨所有硬件的保证。
- 论文的效率增益部分反映了 2025 年时代的边缘芯片；在更老或更低端设备上的表现可能明显更慢。
普通人现在能做什么
- 如果你做离线或隐私敏感的应用，在平板上先试 MiniCPM-V 2.6 或 MiniCPM-o 2.6 做文档 OCR、图像问答与语音交互，再假设自己需要云端 API。
- 如果你训练小型多模态模型，把论文里的三项技术——LLaVA-UHD 分辨率处理、VisCPM 多语种激活、RLAIF-V 幻觉削减——当作现成配方来研究。
- 如果你评估开源模型，在自己硬件上重跑那 11 个基准的对比；Nature 结果是个强先验，但独立数字才是部署决策该依据的。