1 点 48 分,登录开始失败。
太平洋时间,11 月 21 日。这是事故说明里记下的起点。到 5 点 21 分恢复,中间 211 分钟,3 小时 31 分。换成北京时间,是 11 月 22 日凌晨 5 点 48 分到 9 点 21 分。
这个钟点国内多数人还在睡,中文互联网上没什么人喊。可按太平洋时间算,这是周六下午——一周里全球负载最轻的几段之一。周末加低峰,正是运维最愿意排维护的窗口。他们选对了时间,还是挂了三个半小时;如果换到工作日的中午,这个数会是多少,没人知道。
低峰、周末、只是做维护,还是挂了。
先停的是登录
先看清它停在哪一层。
不是推理,不是模型权重,不是 GPU 排队。停的是登录——每个请求进门都要过的那道手续。
事故说明里写的是:这次故障,由我们 Primary API 服务所用的一个 PostgresDB 服务的维护触发,维护导致两个只读副本同时失效。
Primary API 服务不是边缘系统。它管两件事:用户认证,以及服务与服务之间的认证。按它自己的说法,整个 OpenAI 栈都靠这条链路。这句话的分量在于,它把一次数据库故障直接翻译成了全线故障:不管你是调接口做嵌入,还是在网页上点语音,进门都得先过这道手续,手续办不了,后面的模型再快也没用。
一条腿,撑整栋楼。
于是顺序变成:数据库维护,两个只读副本同时失效,认证发不出去,所有需要认证的请求一起倒下。
九个接口,五个功能
受影响的面,可以一个个数。
API 侧九个:Chat Completions、Fine-tuning、Embeddings、Images、Batch、Audio、Moderations、Realtime,还有 Files 端点。
ChatGPT 侧五个:登录、对话、搜索、文件上传、语音模式。
九加五,十四个面。
这份清单真正值得看的地方,是它散得有多开。做嵌入的、做微调的、生成图像的、合成语音的、传文件的、跑批量任务的,全在里面。这些业务平时代码各写各的,团队不同、部署不同、发版节奏也不同,本该没有共同依赖。现在它们被同一道手续串在一根绳上,一个数据库服务打喷嚏,十四处一起发烧。
十四个面,一道门。
四分之三失败,不是全挂
75% 这个数,得说清楚。
这是峰值,不是全程平均。峰值 75% 失败,反过来读,是同一时刻还有四分之一的请求过去了。
这一层比“全挂”难缠得多。
全挂,所有人立刻知道要修,客服话术也好写,用户不会误解。四分之一还通着,监控里就永远有成功样本,告警阈值稍高一点,报警被压在下面;用户那头的感觉也不是“坏了”,是“时好时坏”——刷新两次能用,就懒得报修。这类故障最难的地方不在修,在承认它存在:指标没死透,人就不肯拉闸。
还有一层更安静的。
微调任务提交不了,批量任务卡在队列口,文件传不上去,这些都不在登录页上,也不在客服热线上。用户第二天才想起来问,那时候事故说明已经发完,热搜也过了。异步接口的故障总是这样被记账:造成的麻烦是真的,留下的证据特别少。
救不活的副本
修复的顺序,比结论有用。
第一步,试着把死掉的两个副本救回来。没成。
第二步,试别的区域。也没成。这一步在纸面上最标准——跨区顶替,容灾手册的第一条,讲起来只用一句话。真做起来要看三件事:数据落在哪个区域,副本能不能就地长出来,长出来要不要重新追一遍数据。三件里有一件不顺,跨区就是一句口号。
第三步,在同一区域新起两个副本,跟基础设施供应商一起做。成了。这一步听着像换块硬盘,实际是把整套依赖重新钉一遍:新副本要挂进同一个集群,要重放日志,要把连接池的地址改过去,还要确认老副本被拔掉的时候不会把连接又抢回去。三个半小时里,前两步各花了多久,材料里没写。
5 点 21 分,恢复。
供应商名字没披露。同一份说明里还有一句更值得留意:为什么一次维护会让两个副本同时失效,它没有解释。
六条整改,三条急
整改清单,数下来六条。
三条当天就能落地:暂停同类维护;调数据库参数,压住连接抖动;上一个开关,可以按百分比把流量从副本上切走。这三条的共同点是都不动架构,只降复发概率。
另外三条是慢工:维护之前的评审流程;维护窗口里留出足够的热备容量;针对副本延迟的新防线。慢的这三条,才是把“两个副本同时死”从可能性里删掉的那部分。
热备容量这一条,最费钱也最难批。它的意思是:维护窗口里本来就少了一个副本,还得再空出一份余量在那儿等着,平时不用,出事顶上。云上按用量付费,空等的那份就是纯成本,财务看是浪费,运维看是保险。这类预算,通常是出过事以后才批得下来。
那个“按百分比切走流量”的开关,最有意思。
它的存在本身说明一件事:原来没有这个开关。副本一出问题,流量没地方去,只能等副本活过来。
所谓副本延迟,也是容易被跳过的词。副本不是一瞬间死的,它可能先跟不上主库,先慢,再断。中间那段慢,就是排查的窗口——前提是有人盯着这个指标,而且这个指标真的会报警。很多团队有这条曲线,没有这条警报;曲线躺在面板上,出事那天没人看。
三天里的第二次
这一周不只这一回。
11 月 19 日,GPT-6 Luna 的 API 请求错误率升高。按世界时算,16 点 01 分报出,16 点 58 分结掉,56 分钟。
两天后,211 分钟。
56 分钟和 211 分钟,差 3.8 倍。差的也不只是时长:前者是一个模型在抖,后者是全栈的认证断了;前者影响一部分调用方,后者影响所有要进门的人。
同一周,GPT-6.2 在各处上线,推理内容的防护也在更新。发布会、产品公告、事故说明,排在了同一张日历上。对外说的都是能力,对内要收拾的是那张表。这两类消息在同一周出现,并不矛盾,只是很少被摆在一起看。
下一次维护窗口
把这件事当技术八卦看,没什么可看:一次维护,两个副本,三个半小时。
当结构看,问题只有一个。
模型这一层,做了多副本、多区域、多家供应商,做了好几年,冗余是常识。认证这一层,两个副本就够了——直到不够。同一家公司,两套标准,原因不难猜:模型是卖点,认证是水电。水电不出事的时候,没人给它加预算。
这个不对称不是一家公司的事。任何把“一次登录”当入口的产品,都在同一条链上。请求越集中越省事,也越脆。对调用方来说,能做的其实有限:先认下这一层没有备用按钮,再把关键流程的降级路径提前写好——哪一步能停,停了怎么告知,别等出事那天才讨论要不要接第二家。
下一次同类维护什么时候来,状态页会写。
那份六条清单,到时候就是考卷。
免责声明:本文基于公开信息撰写,仅供读者参考,不构成任何投资建议。