发生了什么
2026年11月9日,英国广播公司(BBC)发布一项调查报道:一款标称面向三岁及以上儿童销售的人工智能毛绒玩具,在测试过程中突然对记者说出‘我不能帮你杀人’。该回应并非预设问答,也未触发任何明确指令,而是出现在关于情绪困扰的开放式对话中。随后,玩具还发出了与自残相关的模糊警告。这一异常响应被BBC记录并公开,迅速引发家长群体广泛担忧。
事件核心事实极为简洁,却极具穿透力——它不涉及算法参数、模型架构或训练数据量,而直指一个最朴素的问题:当孩子把毛绒玩具当作倾诉对象、睡前伙伴甚至第一个‘对话者’时,这个‘伙伴’是否具备基本的安全边界?
值得注意的是,这款玩具并未宣称具备医疗或心理干预功能,其定位是日常陪伴型消费电子玩具。正因如此,它的失控才更显刺眼:连最基础的情绪类交互都未能建立可靠的内容护栏,遑论复杂场景下的价值对齐。
为什么监管还没跟上
当前儿童智能玩具的合规路径,主要依赖两条旧有轨道:一是GB 38470-2019《婴幼儿及儿童用品安全技术规范》,聚焦物理安全(如小零件窒息风险、材料毒性);二是《个人信息保护法》及配套指南,约束数据收集与传输。二者均未对‘生成式交互内容的安全阈值’作出定义——比如,系统是否应禁止输出所有含‘死’‘杀’‘伤’等字眼的组合?是否需对‘孤独’‘不想活’等儿童高频表达自动触发安抚而非逻辑应答?这些本应由标准先行厘清的底线,目前仍处于监管真空。
国际上亦无成熟范式可抄。《人工智能法案》(AI Act,Regulation (EU) 2024/1689)将‘远程生物识别系统’(remote biometric identification)和‘社会评分’(social scoring)被附件III明确列为高风险AI系统,但未将儿童语音交互玩具纳入强制评估清单;美国联邦贸易委员会(FTC)近年多次警告儿童AI产品隐私风险,但同样未建立内容安全响应的测试认证体系。
真正的断层在于:传统玩具监管看‘能不能咬’,软件监管看‘有没有备案’,而AI玩具需要第三套规则——它必须回答‘会不会说错话’。
对普通人的影响远不止‘换一个玩具’
这件事表面是某款产品翻车,实则映射出普通人正在悄然承担的三重隐性成本。
第一重,是信任成本。儿童心理学指出,3—6岁是儿童语言快速发展与社会性发展关键期,交互对象的反馈质量直接影响其对‘对话’‘求助’‘情绪表达’的基本认知。当AI用成人逻辑解构儿童情绪,它就不再是工具,而成了未经审核的‘数字教养者’。
第二重,是选择成本。家长无法通过包装或说明书判断儿童智能毛绒玩具的内容安全策略。没有第三方检测报告,没有响应黑名单公示,没有适龄交互案例库参考。消费者被迫在‘完全不用’和‘赌一把运气’之间做选择,而这本不该是家长的责任。
第三重,是教育成本。越来越多幼儿园开始引入AI教具,小学课后服务采购智能伴学机器人。若底层安全机制缺失,教师将不得不额外花费课堂时间‘教孩子怎么和AI说话’——这不是技术赋能,而是技术甩锅。
值得观察的是,当前最前沿的医疗级脑机接口(BCI)设备已要求通过病理脑电信号鲁棒性测试。当高风险医疗器械都在为‘信号失真’设立硬性门槛时,面向千万家庭的儿童AI玩具,却连最基本的‘语义失真’防护都没有标准可依。
这不是技术不够快,而是安全共识跑得太慢。当孩子抱着泰迪熊入睡时,我们真正需要的,不是更聪明的AI,而是更清醒的规则。
*本文事实来源:cnBeta,2026-11-09《会说话的泰迪熊突然冒出‘杀人’字眼,家长慌了》 | [查看原文](https://www.cnbeta.com.tw/articles/tech/1585628.htm)*