多模态 AI 常见的故事，是一处按 token 租用的服务器集群。清华大学与初创公司面壁智能（ModelBest）的合作，一年多来一直在推相反方向：模型小到能揣进口袋，却好到能读文档、描述视频、进行语音对话。
2025 年 7 月，这项工作跨过了多数开源模型团队从未抵达的门槛——核心研究发表于《Nature Communications》。这一里程碑的意义不在声望，而在于它宣告：一个 80 亿参数的模型能匹敌数倍于自身规模的模型，同时还能在消费级硬件上离线运行。
关键要点
- MiniCPM-V 系列由清华、面壁智能（ModelBest）联合 OpenBMB 开发，面向边缘设备；《Nature Communications》论文（2025 年 7 月 1 日在线发表）报告了一个 8B 模型，在 11 项公开基准上超越 GPT-4V、Gemini Pro 和 Claude 3，并能在手机上运行。
- 该 8B 模型可处理任意宽高比的高分辨率图像，具备稳健的光学字符识别（OCR），幻觉率较低，并支持 30 多种语言。
- MiniCPM-o 2.6 将系列扩展到全模态：图像、视频、文本、音频输入，文本与语音输出，达到厂商所称的 GPT-4o-202405 水平，并是首个在 iPad 级设备上支持多模态实时流式交互的模型。
- 研究基于三个核心思路：高效高分辨率视觉编码器 LLaVA-UHD、面向 30 多种语言的跨语言跨模态训练 VisCPM，以及把幻觉率压到低于 GPT-4V 的自动反馈方法 RLAIF-V。
- 权重已在 Hugging Face 和 GitHub 上开源；该模型家族在国内被昵称为"小钢炮"。
把边缘约束当作设计动力
在手机上运行多模态模型，不是把云端模型缩小到能塞下那么简单。内存、电池与散热限制从一开始就迫使研发者做出不同取舍。清华—面壁团队把约束本身当作命题：参数固定在 8B，但把这些参数花在端侧最要紧的地方——快速 OCR、任意宽高比图像，以及英语之外的语言。
《Nature Communications》论文将其表述为一种趋势而非孤例：要达到某一能力水平所需的参数量，正随边缘算力提升而下降，这意味着先进多模态模型越来越能留在设备上，而非待在数据中心。对研究者而言，这释放了云端模型无法提供的隐私保护与离线用途。
从读图到开口回应
基础边缘模型 MiniCPM-V 2.6 在团队评测中，已在单图、多图与视频理解上超过 GPT-4V，并成为首个在 iPad 上做实时视频理解的开源模型。MiniCPM-o 2.6 又补齐了让它"像房间里那个人"的一半：它接受流式视频与音频，并以可配置的中英文语音作答，带情感、语速与风格控制，以及端到端语音克隆。
这种全模态、双向流式的表现，对全球读者最具参考价值。一个能看视频、听问题、出声回答的模型——全程在平板上完成，不与服务器往返——和躲在 API 背后的聊天机器人属于不同部署品类。它也是更难的工程目标，因为流式迫使模型实时处理部分输入，而非等完整提示词。
据脑机网（BrainNet）首席科学家李锚（Li An）表示，边缘多模态竞赛的胜者，将是那些让固定、小巧的参数预算在每个 token 上做更多有用工作、而非追逐下一个规模纪录的团队。
诚实的局限
- GPT-4V / Gemini Pro / Claude 3 的对比来自团队自身在 11 项公开集上的基准；《Nature Communications》论文报告了这一结果，但它仍是作者的评估而非独立评测。
- MiniCPM-o 2.6 的 GPT-4o-202405 级别说法是厂商口径，指的是 OpenAI 2024 年中能力，并不等同于与最新 GPT-4o 迭代版本持平。
- 即便强大的 8B 模型，在最难推理与最长上下文上仍落后于当前最大的多模态系统；其优势在于本地部署与小巧体量下的广度，而非绝对领先。
- 平板上的实时流式语音与视频，取决于宿主设备内存与具体应用框架；"能在 iPad 上运行"是最好情形下的边缘说法，并非对所有硬件的保证。
- 论文的效率优势部分反映了 2025 年时代的边缘芯片；在更旧或更低端设备上的表现可能明显更慢。
普通人现在能做什么
- 如果你在做离线或隐私敏感的应用，先在平板上试 MiniCPM-V 2.6 或 MiniCPM-o 2.6，用于文档 OCR、图像问答与语音交互，再决定是否真需要云端 API。
- 如果你训练小型多模态模型，可把论文中的三项技术——LLaVA-UHD 分辨率处理、VisCPM 多语言激活、RLAIF-V 降幻觉——当作现成配方来研究。
- 如果你评估开源模型，请在自己的硬件上重跑那 11 项基准对比；《Nature》结果是个强先验，但真正驱动部署决策的应是独立数字。