跳到主内容

OpenAI 用 Codex 开「性能工厂」:3 个月查了 1700 次回归,600 次定位到根因

OpenAI 2026-11-19 公开内部性能工厂:四个组件把「发现回归→查根因→提修复→验证恢复」交给 Codex,3 个月 1700+ 次调查、600+ 次定位根因、每天 17 次,人工评 100 例准确率 70%。

2026-11-20 · OpenAI 官方工程博客(2026-11-19,一手实取)

发布 2026-11-20核实 2026-11-20

要点

  • 2026-11-19,OpenAI 在官方工程博客公开内部系统 Performance Factory(性能工厂),作者 Okay Zed 与 Cyrus Forbes(均署名 Member of Technical Staff)。
  • 目标不是「让 ChatGPT 更快」,而是在 agentic 开发节奏下守住「不变慢」:自动完成「发现性能回归 → 定位根因 → 提修复 → 部署后验证恢复」的闭环。
  • 四个组件:Task Service(config.toml + Markdown 提示词定义工作流与状态机)、Dispatch Loop(周期性把就绪任务派发成一次 Codex 回合)、Codex in the Cloud(内部 API 程序化调用,能读 metrics / logs / traces / CPU profile / 内存快照)、Subscriptions(任务订阅事件,如 PR 评论、CI 失败、部署完成,事件到达才唤醒)。
  • 核心资产是一个叫 perf-forensics 的技能:把性能团队的排查流程沉淀成共享技能,指导 Codex「什么时候用什么工具」,从三个角度查——变慢从哪一刻开始、影响哪些请求、是不是某次部署或配置变更引起的。
  • 官方数据:运行 3 个多月、1,700+ 次调查、600+ 例定位到根因、自动化调查速率 每天 17 次、积累 30+ 个性能工具;人工评 100 例根因建议,70% 准确,30% 需改进或未建立因果关系。
  • 文章没有给任何延迟 / 吞吐的前后对比数字,也没有给 token 服务量或「快了多少倍」。它给的全是「调查吞吐」与「根因准确率」两类指标。

四个组件:把「排查」变成可派发的任务

这套系统的关键设计不是模型多强,而是把工程师的动作变成机器可调度的状态。

组件干什么关键细节
Task Service定义任务与工作流config.toml 声明工作流,Markdown 写每一步的提示词(如 code-change/implementing.md、reviewing.md),并规定任务可经过哪些状态、哪些转换需要人介入
Dispatch Loop找活干周期性扫描「就绪」任务,每个任务启动一次 Codex 回合,不是长驻会话
Codex in the Cloud干活内部 API 程序化调用,可访问代码仓库与可观测性工具;以服务身份运行,权限可限、操作可审计
Subscriptions等待而不空转任务挂起时不等,订阅 PR 评论 / CI 失败 / 部署完成等事件,命中后唤醒回到派发队列

这套拆分解决了一个实际问题:性能排查是「等」出来的活——等指标稳定、等部署生效、等 CI 跑完。用长驻会话等,就是在烧 token 和上下文;用事件唤醒,成本才压得住。

两个真正有含金量的设计

一、对抗式复核(Adversarial Review)。 每份诊断结论都会被另一个独立的 Codex 会话尝试推翻:重测假设、查反事实(「如果回滚,指标会恢复吗」)。文章举了一个具体例子:某次诊断把原因归到图片下载出错,复核者发现「负责定位文件的那个内部服务其实已经恢复了,但图片请求还在失败」,于是把调查重新打开。

这条设计的意义在于它把「自我验证」从模型内部搬到了模型之间。同一个会话里让模型自查,通常会顺着自己的假设找证据;换一个不知道结论的会话去证伪,才可能翻案。这与站内讲的 Agent 验证 是同一个思路的工程化版本。

二、用历史事故做回测。 他们把过去的真实事故做成评测集,测试用例会剥离可能泄底的细节(比如具体是哪次发布),评分维度是:问题起始时间、规模、受影响请求、证据使用、归因是否成立。另外单独评「摘要质量」——判据很朴素:一个不熟悉这套系统的工程师能不能看懂。

这两条说明一件事:他们评的不是「回答像不像」,而是「结论能不能被别人复现」。

70% 这个数字该怎么读

官方给的准确率是 70%(100 例人工评分),同一个句子里还写了 30% 需要改进或未建立因果关系。

这个数字既不该被当成「AI 能替掉性能工程师」的证据,也不该被当成「不可用」。正确的读法是——它已经跨过了「有用」的门槛,但没跨过「可以无人值守」的门槛:

门槛判据现状
有用能把「从哪开始查」这一步自动化已跨过:每天 17 次、600+ 次定位成功
可信结论可被独立复核、有反事实检验部分跨过:有对抗式复核机制,但复核本身也是模型
可无人值守低风险修复直接合并、人不介入未跨过:官方把它列为「下一步探索」,说明现在需要人

还有一处必须说清:文章没给「修复后指标是否真的恢复」的统计。状态机里有「部署后验证是否回到基线」这一步,但没有公布这一步的成功率。所以能确认的是诊断能力,修复效果仍是空白。

三个可复制的做法

1. 把排查流程写成技能,而不是写在文档里。 perf-forensics 的价值不在内容多高深,而在它被模型直接执行:哪一步该拉什么数据、先看时间点还是先看变更,全部可执行。文档给人看会被跳过,技能给模型看会每次照做。

2. 用状态机限制自由发挥。 needs investigation → root caused → fix proposed → resolved 四个状态,每个状态有明确的产出物。这比「你帮我查一下为什么慢」稳得多——自由的尽头是不可复现。

3. 保护人的注意力,而不是替代人。 文章专门写了一节:合并重复告警、按指标分组、按影响排序。这条对任何有值班制度的团队都成立——噪音不降下来,再强的模型也只是把噪音加工得更快。

另外他们还做了一个自修复闭环:每天跑一个监控代理,扫日志找工具失败与权限错误,同类错误反复出现就自动开修复任务并提 PR。用这套系统修自己的工具链,是最省事的验证方式。

AI 之家 观点

这篇官方博客最有价值的地方,是它把「AI 写代码」的叙事换成了「AI 运维」,而且给的是可核对的吞吐数字而不是「提效 X 倍」。

过去一年 Agent 的演示都集中在「从零造一个东西」:写页面、做小游戏、跑通一个 PR。这类任务的特点是验收便宜——能不能跑、测试过不过,一眼就知道。性能回归恰恰相反:验收昂贵。你得知道「原来多快」「现在多快」「哪次变更造成的」,这三个问题里有两个需要历史数据,而历史数据通常散在四五个系统里。性能工厂真正的贡献,是把这些数据接成一个模型能自己走完的路径,而不是模型变聪明了。

对国内的团队,这套东西的迁移成本主要在可观测性,不在模型。metrics / traces / profiles 三件套没打通、部署事件没有统一时间轴的团队,先照抄状态机只会得到「模型查不出原因」的结论——不是模型不行,是它没东西可查。

最后一个判断:官方把「低风险修复由代理直接合并、人退出环路」写在下一步,说明他们自己也没到那一步。看到任何「AI 全自动修线上问题」的说法,先问一句:它的 30% 错判会导致什么? 性能回归的错判通常只是浪费一次排查;但如果把这套模式搬到安全或数据修复上,错判的代价完全不同——同一个架构,不同的出错成本,这才是该谨慎的地方。

相关阅读

来源

本卡片由 AI 之家 编辑部根据 OpenAI 官方工程博客整理,非厂商付费内容。文中所有数字均为官方自报、未经第三方复现;「修复后是否恢复」的统计官方未公布,本站不做推断。

常见问题

性能工厂是一个人还是系统?

是一套跑在云端的自主性能工程系统,核心是「任务由配置文件和工作流定义、由 Codex 执行」。工程师不再直接查回归,而是写任务定义(config.toml 加 Markdown 提示词)、定义状态机、以及在关键节点审批。

1700 次调查、600 次根因是什么口径?

官方原文是运行三个多月、跟踪 1,700+ 次调查、成功定位根因 600+ 例、自动化调查速率每天 17 次。注意这是「调查」不是「修复上线」——修复是否合并、多久上线,文章没有给数。

准确率 70% 是怎么测的?

人工评了 100 例根因建议,70% 准确、30% 需要改进或未能建立因果关系。文章明确写了这个分母与结论,也明确写了这个评测是内部人工评分,不是第三方审计。

它会不会自己改线上代码?

会提 PR,但流程里有闸门:状态机是 needs investigation → root caused → fix proposed → resolved,修复部署后由代理验证指标是否回到基线;部分恢复则另开任务,无改善则退回调查。文章把「低风险修复由代理直接合并、人不介入」列为下一步要探索的方向,说明目前还没这么做。

为什么值得关心?和普通团队有什么关系?

因为它演示了一个可复制的形状:把「性能排查」这种高度依赖资深工程师经验的活,拆成技能(perf-forensics)+ 状态机 + 对抗式复核 + 历史事故回测。这套结构不依赖 OpenAI 的内部系统,小团队可以用 Codex 或 Claude Code 加自己的指标库搭一个缩小版。

相关对比
相关评测