OpenAI 用 Codex 开「性能工厂」:3 个月查了 1700 次回归,600 次定位到根因
OpenAI 2026-11-19 公开内部性能工厂:四个组件把「发现回归→查根因→提修复→验证恢复」交给 Codex,3 个月 1700+ 次调查、600+ 次定位根因、每天 17 次,人工评 100 例准确率 70%。
2026-11-20 · OpenAI 官方工程博客(2026-11-19,一手实取)
发布 2026-11-20核实 2026-11-20要点
- 2026-11-19,OpenAI 在官方工程博客公开内部系统 Performance Factory(性能工厂),作者 Okay Zed 与 Cyrus Forbes(均署名 Member of Technical Staff)。
- 目标不是「让 ChatGPT 更快」,而是在 agentic 开发节奏下守住「不变慢」:自动完成「发现性能回归 → 定位根因 → 提修复 → 部署后验证恢复」的闭环。
- 四个组件:Task Service(
config.toml+ Markdown 提示词定义工作流与状态机)、Dispatch Loop(周期性把就绪任务派发成一次 Codex 回合)、Codex in the Cloud(内部 API 程序化调用,能读 metrics / logs / traces / CPU profile / 内存快照)、Subscriptions(任务订阅事件,如 PR 评论、CI 失败、部署完成,事件到达才唤醒)。 - 核心资产是一个叫
perf-forensics的技能:把性能团队的排查流程沉淀成共享技能,指导 Codex「什么时候用什么工具」,从三个角度查——变慢从哪一刻开始、影响哪些请求、是不是某次部署或配置变更引起的。 - 官方数据:运行 3 个多月、1,700+ 次调查、600+ 例定位到根因、自动化调查速率 每天 17 次、积累 30+ 个性能工具;人工评 100 例根因建议,70% 准确,30% 需改进或未建立因果关系。
- 文章没有给任何延迟 / 吞吐的前后对比数字,也没有给 token 服务量或「快了多少倍」。它给的全是「调查吞吐」与「根因准确率」两类指标。
四个组件:把「排查」变成可派发的任务
这套系统的关键设计不是模型多强,而是把工程师的动作变成机器可调度的状态。
| 组件 | 干什么 | 关键细节 |
|---|---|---|
| Task Service | 定义任务与工作流 | config.toml 声明工作流,Markdown 写每一步的提示词(如 code-change/implementing.md、reviewing.md),并规定任务可经过哪些状态、哪些转换需要人介入 |
| Dispatch Loop | 找活干 | 周期性扫描「就绪」任务,每个任务启动一次 Codex 回合,不是长驻会话 |
| Codex in the Cloud | 干活 | 内部 API 程序化调用,可访问代码仓库与可观测性工具;以服务身份运行,权限可限、操作可审计 |
| Subscriptions | 等待而不空转 | 任务挂起时不等,订阅 PR 评论 / CI 失败 / 部署完成等事件,命中后唤醒回到派发队列 |
这套拆分解决了一个实际问题:性能排查是「等」出来的活——等指标稳定、等部署生效、等 CI 跑完。用长驻会话等,就是在烧 token 和上下文;用事件唤醒,成本才压得住。
两个真正有含金量的设计
一、对抗式复核(Adversarial Review)。 每份诊断结论都会被另一个独立的 Codex 会话尝试推翻:重测假设、查反事实(「如果回滚,指标会恢复吗」)。文章举了一个具体例子:某次诊断把原因归到图片下载出错,复核者发现「负责定位文件的那个内部服务其实已经恢复了,但图片请求还在失败」,于是把调查重新打开。
这条设计的意义在于它把「自我验证」从模型内部搬到了模型之间。同一个会话里让模型自查,通常会顺着自己的假设找证据;换一个不知道结论的会话去证伪,才可能翻案。这与站内讲的 Agent 验证 是同一个思路的工程化版本。
二、用历史事故做回测。 他们把过去的真实事故做成评测集,测试用例会剥离可能泄底的细节(比如具体是哪次发布),评分维度是:问题起始时间、规模、受影响请求、证据使用、归因是否成立。另外单独评「摘要质量」——判据很朴素:一个不熟悉这套系统的工程师能不能看懂。
这两条说明一件事:他们评的不是「回答像不像」,而是「结论能不能被别人复现」。
70% 这个数字该怎么读
官方给的准确率是 70%(100 例人工评分),同一个句子里还写了 30% 需要改进或未建立因果关系。
这个数字既不该被当成「AI 能替掉性能工程师」的证据,也不该被当成「不可用」。正确的读法是——它已经跨过了「有用」的门槛,但没跨过「可以无人值守」的门槛:
| 门槛 | 判据 | 现状 |
|---|---|---|
| 有用 | 能把「从哪开始查」这一步自动化 | 已跨过:每天 17 次、600+ 次定位成功 |
| 可信 | 结论可被独立复核、有反事实检验 | 部分跨过:有对抗式复核机制,但复核本身也是模型 |
| 可无人值守 | 低风险修复直接合并、人不介入 | 未跨过:官方把它列为「下一步探索」,说明现在需要人 |
还有一处必须说清:文章没给「修复后指标是否真的恢复」的统计。状态机里有「部署后验证是否回到基线」这一步,但没有公布这一步的成功率。所以能确认的是诊断能力,修复效果仍是空白。
三个可复制的做法
1. 把排查流程写成技能,而不是写在文档里。 perf-forensics 的价值不在内容多高深,而在它被模型直接执行:哪一步该拉什么数据、先看时间点还是先看变更,全部可执行。文档给人看会被跳过,技能给模型看会每次照做。
2. 用状态机限制自由发挥。 needs investigation → root caused → fix proposed → resolved 四个状态,每个状态有明确的产出物。这比「你帮我查一下为什么慢」稳得多——自由的尽头是不可复现。
3. 保护人的注意力,而不是替代人。 文章专门写了一节:合并重复告警、按指标分组、按影响排序。这条对任何有值班制度的团队都成立——噪音不降下来,再强的模型也只是把噪音加工得更快。
另外他们还做了一个自修复闭环:每天跑一个监控代理,扫日志找工具失败与权限错误,同类错误反复出现就自动开修复任务并提 PR。用这套系统修自己的工具链,是最省事的验证方式。
AI 之家 观点
这篇官方博客最有价值的地方,是它把「AI 写代码」的叙事换成了「AI 运维」,而且给的是可核对的吞吐数字而不是「提效 X 倍」。
过去一年 Agent 的演示都集中在「从零造一个东西」:写页面、做小游戏、跑通一个 PR。这类任务的特点是验收便宜——能不能跑、测试过不过,一眼就知道。性能回归恰恰相反:验收昂贵。你得知道「原来多快」「现在多快」「哪次变更造成的」,这三个问题里有两个需要历史数据,而历史数据通常散在四五个系统里。性能工厂真正的贡献,是把这些数据接成一个模型能自己走完的路径,而不是模型变聪明了。
对国内的团队,这套东西的迁移成本主要在可观测性,不在模型。metrics / traces / profiles 三件套没打通、部署事件没有统一时间轴的团队,先照抄状态机只会得到「模型查不出原因」的结论——不是模型不行,是它没东西可查。
最后一个判断:官方把「低风险修复由代理直接合并、人退出环路」写在下一步,说明他们自己也没到那一步。看到任何「AI 全自动修线上问题」的说法,先问一句:它的 30% 错判会导致什么? 性能回归的错判通常只是浪费一次排查;但如果把这套模式搬到安全或数据修复上,错判的代价完全不同——同一个架构,不同的出错成本,这才是该谨慎的地方。
相关阅读
- 工具:Codex CLI · Claude Code · OpenAI Agents API
- 评测:Codex 深度评测
- 概念:Agent 验证 · Agent Harness · Agent 沙箱 · 每任务成本 · Agent 责任归属
- 同批资讯:Clover 扩散语言模型 · Gemini API 工具检索
来源
- How OpenAI's Performance Factory keeps ChatGPT fast(OpenAI 官方工程博客,2026-11-19,实取:四组件 / 1,700+ 调查 / 600+ 根因 / 17 次每天 / 30+ 工具 / 70% 准确率 / 无延迟与吞吐对比数字)
- Inside the Codex sandbox(OpenAI 官方,2026-11-18,用于核对 Codex 云端运行的沙箱口径)
本卡片由 AI 之家 编辑部根据 OpenAI 官方工程博客整理,非厂商付费内容。文中所有数字均为官方自报、未经第三方复现;「修复后是否恢复」的统计官方未公布,本站不做推断。
常见问题
性能工厂是一个人还是系统?
是一套跑在云端的自主性能工程系统,核心是「任务由配置文件和工作流定义、由 Codex 执行」。工程师不再直接查回归,而是写任务定义(config.toml 加 Markdown 提示词)、定义状态机、以及在关键节点审批。
1700 次调查、600 次根因是什么口径?
官方原文是运行三个多月、跟踪 1,700+ 次调查、成功定位根因 600+ 例、自动化调查速率每天 17 次。注意这是「调查」不是「修复上线」——修复是否合并、多久上线,文章没有给数。
准确率 70% 是怎么测的?
人工评了 100 例根因建议,70% 准确、30% 需要改进或未能建立因果关系。文章明确写了这个分母与结论,也明确写了这个评测是内部人工评分,不是第三方审计。
它会不会自己改线上代码?
会提 PR,但流程里有闸门:状态机是 needs investigation → root caused → fix proposed → resolved,修复部署后由代理验证指标是否回到基线;部分恢复则另开任务,无改善则退回调查。文章把「低风险修复由代理直接合并、人不介入」列为下一步要探索的方向,说明目前还没这么做。
为什么值得关心?和普通团队有什么关系?
因为它演示了一个可复制的形状:把「性能排查」这种高度依赖资深工程师经验的活,拆成技能(perf-forensics)+ 状态机 + 对抗式复核 + 历史事故回测。这套结构不依赖 OpenAI 的内部系统,小团队可以用 Codex 或 Claude Code 加自己的指标库搭一个缩小版。