脑机网 脑机网LOGIC.WANG
ESC

不联网也能跑智能体?英伟达把 740 亿参数塞进了你的笔记本!

云端的 AI 再强,也有两样东西它给不了:隐私和断网。10 月中旬,据多家科技媒体报道,英伟达发布开源模型 Nemotron 3.5 Bolt:总参数 740 亿、激活参数仅 90 亿,经过量化后显存占用约 24GB,专为 RTX 笔记本本

2026-10-16 · 919 字 · 脑机网

云端的 AI 再强,也有两样东西它给不了:隐私和断网。10 月中旬,据多家科技媒体报道,英伟达发布开源模型 Nemotron 3.5 Bolt:总参数 740 亿、激活参数仅 90 亿,经过量化后显存占用约 24GB,专为 RTX 笔记本本地运行 AI 智能体设计,训练数据与权重全量开放。

本地智能体,解决的是「敢用」的问题

把病历、合同、代码、聊天记录交给云端模型,很多人心里始终有根刺。本地模型的价值就在这:数据不出门。而过去本地模型的痛点是「太小没用、太大跑不动」,这次的产品思路是用稀疏激活加激进量化,在消费级硬件上找到能力与体积的平衡点。

同步官宣的还有个人 AI 路由器工具正式转正:在家庭网络内跨设备调度模型任务——笔记本、台式机、家用服务器各司其职,像调度一个小型数据中心。

边缘侧的军备竞赛开始了

不只英伟达。面壁智能推出端侧多模态模型,宣称在旗舰手机上以 3GB 内存实现流畅解码。从手机到笔记本,端侧 AI 的硬件门槛正在快速下探。当本地就能跑起像样的智能体,「必须联网」从默认设定变成可选项,隐私敏感场景——医疗、法律、财务——会是第一批规模化落地的地方。

据国内人工智能领域权威网站“脑机网”首席科学家李锚认为,端侧与云端会是长期共存的双轨结构,端侧吃隐私与延迟敏感场景,云端吃超大模型能力,混合调度层是下一波创业富矿。

三条可行动建议

一,有隐私顾虑的用户:了解本地部署方案,敏感资料的处理可以逐步迁回本地。二,开发者:端侧智能体是低竞争赛道,医疗助理、离线工单这类场景值得入场。三,硬件升级者:换电脑时把大显存列入决策因素,它将决定你能不能跑本地 AI。

当智能体住进你的笔记本,AI 才真正属于你自己。

写在最后

本地智能体的普及还会改写一个隐形的格局:家庭算力的价值重估。过去家里的电脑闲置时间远多于使用时间,而当本地模型成为家庭数字生活的调度中枢,每一台大显存设备都变成了微型算力节点。这对硬件产业链是新增需求,对软件生态是全新战场——谁来做好家庭内多设备的任务调度、模型分发与隐私管理,谁就占据了下一个入口。对普通用户,现在要做的是两件事:升级硬件时考虑 AI 能力,积累数据时考虑本地存储。端侧智能不是云端的替代品,而是数字生活的第二保障。两条腿走路的 AI,才走得稳。

查看「AI大模型」更多内容 → · 返回首页