8月8日，浙江大学计算机科学与技术学院联合德克萨斯大学奥斯汀分校、中国科学院上海微系统所等团队，在国际顶级AI会议ICLR 2026上发表论文，提出了一种名为BRAINMOSAIC的语义意图解码框架。该框架首次将脑电信号（EEG/SEEG）映射到连续语义空间，通过"分解-对齐-重建"三阶段流程，让神经信号到自然语言的转换既具备可解释性，又拥有开放词汇的表达能力。

这篇论文解决的核心问题是：如何让脑机接口不只输出"字母"或"预设标签"，而是输出完整的、自然的句子。想象一位失语症患者脑海中想着"我今天想吃苹果"，传统BCI只能让他逐个字母拼写，或者从几十个预设标签中选择"食物"。而BRAINMOSAIC要做的是，让系统直接理解并输出这句话。

为什么传统方法走不通

当前脑机接口语言解码有两条主流路径，但各有致命缺陷。

第一条是语音解码，依赖运动皮层信号重建语音动作。精度较高，但只覆盖大脑语言网络的有限部分，对完全性闭锁综合征患者无能为力——他们连"想说话"的运动意图都无法产生。而且这种方法受限于特定语言的音素系统，中文患者很难用英文音素模型解码。

第二条是端到端文本生成。理论上可以输出任意句子，但这类"黑箱"模型需要海量配对数据，且缺乏可解释性——医生无法验证解码结果是否真实反映患者意图。更关键的是，传统评估指标如BLEU、ROUGE只做字符级精确匹配，无法衡量"玩手机"和"使用移动电话"这种语义等价但表述不同的句子。

"语义拼图"的三步重建

BRAINMOSAIC的核心创新在于三阶段流程：分解、对齐、重建。

分解阶段，系统将复杂的脑电信号拆解为可组合的语义片段——不是完整的句子，而是构成句子的"积木"。对齐阶段，将这些语义片段映射到一个连续的语义空间，与语言模型中的词向量对齐。重建阶段，利用语言模型的组合能力，将这些"积木"重新拼装成完整的、符合语法的句子。

这种方法的关键优势在于"开放词汇"：不限于预定义的标签表，理论上可以输出任何在语言模型词汇表中的词。同时，由于中间过程可解释——每个语义片段的来源和对齐过程都可以追溯——医生能够验证解码结果是否合理。

从实验室到临床的距离

这项研究的落地意义不言而喻。中国有超过300万失语症患者，包括渐冻症、脑卒中后遗症、重度脑外伤等。对这些人来说，恢复交流能力比恢复行走能力更迫切。

但技术离临床还有距离。当前系统需要个体校准数据，跨个体泛化仍是有待突破的瓶颈。中科院上海微系统所李孟团队正在攻关的"脑电大模型"——用海量神经活动数据预训练通用基座模型——如果成功，将大幅降低个体校准的数据需求。李孟团队与华山医院的合作已让参与者仅输入朗读54个汉字的样本，模型便外推出1951个常用汉字的语句。

脑机接口的商业化路径正在分叉：一条是博睿康NEO式的医疗器械路线，通过审批、进入医保、服务临床患者；另一条是消费级路线，如海淀芯生视界的"万通道级神经显卡"，用视觉刺激让盲人"看见世界"。BRAINMOSAIC的研究成果，最终会汇入哪条河流，取决于语义解码的准确率和延迟能否从实验室条件压缩到日常可用水平。

脑机派对

2026.08.09