---
title: "模型一次没出错，登录挂了三个半小时"
date: 2026-11-22
category: AI应用
site: 脑机网
canonical: https://aiai.cafe/a/njw-login-outage-1122
language: zh-CN
---

# 模型一次没出错，登录挂了三个半小时

> OpenAI 11 月 21 日登录层故障 211 分钟，峰值 75% 的请求失败，9 个接口与 5 个 ChatGPT 功能受影响，两个只读副本同时失效。

1 点 48 分，登录开始失败。

太平洋时间，11 月 21 日。这是事故说明里记下的起点。到 5 点 21 分恢复，中间 211 分钟，3 小时 31 分。换成北京时间，是 11 月 22 日凌晨 5 点 48 分到 9 点 21 分。

这个钟点国内多数人还在睡，中文互联网上没什么人喊。可按太平洋时间算，这是周六下午——一周里全球负载最轻的几段之一。周末加低峰，正是运维最愿意排维护的窗口。他们选对了时间，还是挂了三个半小时；如果换到工作日的中午，这个数会是多少，没人知道。

低峰、周末、只是做维护，还是挂了。

## 先停的是登录

先看清它停在哪一层。

不是推理，不是模型权重，不是 GPU 排队。停的是登录——每个请求进门都要过的那道手续。

事故说明里写的是：这次故障，由我们 Primary API 服务所用的一个 PostgresDB 服务的维护触发，维护导致两个只读副本同时失效。

Primary API 服务不是边缘系统。它管两件事：用户认证，以及服务与服务之间的认证。按它自己的说法，整个 OpenAI 栈都靠这条链路。这句话的分量在于，它把一次数据库故障直接翻译成了全线故障：不管你是调接口做嵌入，还是在网页上点语音，进门都得先过这道手续，手续办不了，后面的模型再快也没用。

一条腿，撑整栋楼。

于是顺序变成：数据库维护，两个只读副本同时失效，认证发不出去，所有需要认证的请求一起倒下。

## 九个接口，五个功能

受影响的面，可以一个个数。

API 侧九个：Chat Completions、Fine-tuning、Embeddings、Images、Batch、Audio、Moderations、Realtime，还有 Files 端点。

ChatGPT 侧五个：登录、对话、搜索、文件上传、语音模式。

九加五，十四个面。

这份清单真正值得看的地方，是它散得有多开。做嵌入的、做微调的、生成图像的、合成语音的、传文件的、跑批量任务的，全在里面。这些业务平时代码各写各的，团队不同、部署不同、发版节奏也不同，本该没有共同依赖。现在它们被同一道手续串在一根绳上，一个数据库服务打喷嚏，十四处一起发烧。

十四个面，一道门。

## 四分之三失败，不是全挂

75% 这个数，得说清楚。

这是峰值，不是全程平均。峰值 75% 失败，反过来读，是同一时刻还有四分之一的请求过去了。

这一层比“全挂”难缠得多。

全挂，所有人立刻知道要修，客服话术也好写，用户不会误解。四分之一还通着，监控里就永远有成功样本，告警阈值稍高一点，报警被压在下面；用户那头的感觉也不是“坏了”，是“时好时坏”——刷新两次能用，就懒得报修。这类故障最难的地方不在修，在承认它存在：指标没死透，人就不肯拉闸。

还有一层更安静的。

微调任务提交不了，批量任务卡在队列口，文件传不上去，这些都不在登录页上，也不在客服热线上。用户第二天才想起来问，那时候事故说明已经发完，热搜也过了。异步接口的故障总是这样被记账：造成的麻烦是真的，留下的证据特别少。

## 救不活的副本

修复的顺序，比结论有用。

第一步，试着把死掉的两个副本救回来。没成。

第二步，试别的区域。也没成。这一步在纸面上最标准——跨区顶替，容灾手册的第一条，讲起来只用一句话。真做起来要看三件事：数据落在哪个区域，副本能不能就地长出来，长出来要不要重新追一遍数据。三件里有一件不顺，跨区就是一句口号。

第三步，在同一区域新起两个副本，跟基础设施供应商一起做。成了。这一步听着像换块硬盘，实际是把整套依赖重新钉一遍：新副本要挂进同一个集群，要重放日志，要把连接池的地址改过去，还要确认老副本被拔掉的时候不会把连接又抢回去。三个半小时里，前两步各花了多久，材料里没写。

5 点 21 分，恢复。

供应商名字没披露。同一份说明里还有一句更值得留意：为什么一次维护会让两个副本同时失效，它没有解释。

## 六条整改，三条急

整改清单，数下来六条。

三条当天就能落地：暂停同类维护；调数据库参数，压住连接抖动；上一个开关，可以按百分比把流量从副本上切走。这三条的共同点是都不动架构，只降复发概率。

另外三条是慢工：维护之前的评审流程；维护窗口里留出足够的热备容量；针对副本延迟的新防线。慢的这三条，才是把“两个副本同时死”从可能性里删掉的那部分。

热备容量这一条，最费钱也最难批。它的意思是：维护窗口里本来就少了一个副本，还得再空出一份余量在那儿等着，平时不用，出事顶上。云上按用量付费，空等的那份就是纯成本，财务看是浪费，运维看是保险。这类预算，通常是出过事以后才批得下来。

那个“按百分比切走流量”的开关，最有意思。

它的存在本身说明一件事：原来没有这个开关。副本一出问题，流量没地方去，只能等副本活过来。

所谓副本延迟，也是容易被跳过的词。副本不是一瞬间死的，它可能先跟不上主库，先慢，再断。中间那段慢，就是排查的窗口——前提是有人盯着这个指标，而且这个指标真的会报警。很多团队有这条曲线，没有这条警报；曲线躺在面板上，出事那天没人看。

## 三天里的第二次

这一周不只这一回。

11 月 19 日，GPT-6 Luna 的 API 请求错误率升高。按世界时算，16 点 01 分报出，16 点 58 分结掉，56 分钟。

两天后，211 分钟。

56 分钟和 211 分钟，差 3.8 倍。差的也不只是时长：前者是一个模型在抖，后者是全栈的认证断了；前者影响一部分调用方，后者影响所有要进门的人。

同一周，GPT-6.2 在各处上线，推理内容的防护也在更新。发布会、产品公告、事故说明，排在了同一张日历上。对外说的都是能力，对内要收拾的是那张表。这两类消息在同一周出现，并不矛盾，只是很少被摆在一起看。

## 下一次维护窗口

把这件事当技术八卦看，没什么可看：一次维护，两个副本，三个半小时。

当结构看，问题只有一个。

模型这一层，做了多副本、多区域、多家供应商，做了好几年，冗余是常识。认证这一层，两个副本就够了——直到不够。同一家公司，两套标准，原因不难猜：模型是卖点，认证是水电。水电不出事的时候，没人给它加预算。

这个不对称不是一家公司的事。任何把“一次登录”当入口的产品，都在同一条链上。请求越集中越省事，也越脆。对调用方来说，能做的其实有限：先认下这一层没有备用按钮，再把关键流程的降级路径提前写好——哪一步能停，停了怎么告知，别等出事那天才讨论要不要接第二家。

下一次同类维护什么时候来，状态页会写。

那份六条清单，到时候就是考卷。

**免责声明：本文基于公开信息撰写，仅供读者参考，不构成任何投资建议。**

---

来源：脑机网（https://aiai.cafe/）｜原文：https://aiai.cafe/a/njw-login-outage-1122
本内容仅供参考，不构成投资建议。
