OpenAI 反蒸馏:把推理轨迹锁进对话,GPT-6.2 提取成功率从 54% 降到 0.2%
OpenAI 2026-11-20 公布反蒸馏防御:自适应红队下受保护推理提取成功率从 54.0% 降到 0.2%,API 把推理绑定到产生它的对话历史,改写前序消息即丢弃其后推理。
2026-11-21 · OpenAI 官方博客(2026-11-20,一手实取)
发布 2026-11-21核实 2026-11-21要点
- 2026-11-20,OpenAI 发布《Combatting adversarial distillation》,首次系统披露反蒸馏防御的完整设计:请求级防护 + 战役级调查执法。
- 关键数字:自适应黑盒红队下,「从先前请求提取受保护推理」的平均攻击成功率从 54.0%(GPT-6 Astra 原防护)降到 0.2%(GPT-6.2 Astra 新防护);「从当前请求提取」从 22.9% 降到 0.9%,两类攻击在新防护下均低于 1%。测试汇总 6 个攻击者模型。
- 三层防护:模型行为对抗训练(教模型识别并拒绝推理提取,同时保留对合法解释请求的响应)、输入/输出分类器(输出侧覆盖助手消息与工具调用参数,流式同样生效)、API 层绑定(推理绑定到产生它的对话历史)。
- API 行为变更:改写早前消息会丢弃其后的推理;旧的弱防护模型不能读取 GPT-6.2 Astra / Sol 的受保护推理。
- 执法规模:每周对数千到数万个账号采取行动,官方称这一速率「今年夏天显著上升」。
- 新防护已在 GPT-6.2 Astra 与 GPT-6.2 Sol 上线,GPT-6 Astra 在选择性回补部分改进。
- OpenAI 同时把 2026-02 向国会简报 DeepSeek 蒸馏活动、2026-09 挫败一次归因于 Moonshot AI 相关人员的推理提取战役,作为背景材料写入。
防的不是蒸馏,是「不继承护栏的蒸馏」
原文把话分得很清:蒸馏(distillation)是常见机器学习技术——一个模型从另一个模型产出的数据里学习,本身中性;要防的是对抗性蒸馏——第二个模型学到了前沿能力,却没有继承约束原模型如何被使用的 safeguards。
这条界线决定了防御的落点。如果只防「能力外溢」,几乎等于禁止一切模型间学习;OpenAI 选择防的是能力外溢但不带护栏这件事,所以它的抓手不是「不许问」,而是「不许把带护栏的推理轨迹原样搬走」。
而推理轨迹之所以成为主战场,是因为答案里没有的东西都在轨迹里。原文的表述是:这些 traces 可能包含最终答案省略掉的信息,因而对其他模型来说是尤其有价值的训练数据。
一个实验说清「为什么是轨迹」
光说「轨迹更值钱」不够,OpenAI 做了一个对照实验来量化:
| 环节 | 用精确推理轨迹训练的学生 | 用推理摘要训练的学生 |
|---|---|---|
| SFT 之后 | 普遍更好 | 较差 |
| 轻量 RL 之后(测试的最大推理预算) | ExploitBench 与 SEC-bench Pro 上仍更高 | 低预算下更高,高预算下被反超 |
结论被写成一句话:保护推理轨迹可以限制网络能力迁移,即使底层任务是使用政策允许的。这条对防御设计的意义是——不需要靠封禁任务来防能力外溢,管住轨迹就够,合规用户仍然能拿到同等任务的帮助。
同一结论在 Anthropic 那边有独立复现:原文脚注提到,Anthropic 在 SWE-bench Verified 上报告过「用完整推理记录训练优于用摘要训练」,OpenAI 称自己的结果表明这一优势延伸到了前沿网络安全领域。
三层设计:训练、分类器、API 绑定
| 层 | 做什么 | 关键细节 |
|---|---|---|
| 模型行为 | 对抗训练教模型识别并拒绝推理提取 | 训练样本来自内部自动化红队、调查、外部研究者与行业伙伴的负责任披露;同时保留对合法解释请求的响应 |
| 分类器 | 输入侧检测提取企图,输出侧检测推理泄露 | 输出分类器覆盖助手消息与工具调用参数,流式与非流式都生效;原文强调可在内容到达调用方之前拦下 |
| API 绑定 | 把受保护推理绑定到产生它的对话历史 | 前序消息被改写 → 其后的推理被丢弃;阻止弱防护旧模型读取新模型的加密推理;强化跨用户、工作区、组织、模型家族边界的隔离 |
战役级那一侧是另一套动作:调查账号、对账号网络执法、把入侵指标(IoC)共享给其他模型提供商、按 consistent-standards policy 推动跨厂商的统一标准与协同执法。
度量方式也值得一提——把历史上成功的攻击回放成回归测试,再叠一层会随系统响应调整策略的自适应红队。原文给的目标是三件事同时成立:压缩攻击者能拿到的数据量与价值、抬高蒸馏成本、缩短响应新攻击的时间。
对开发者的实际影响
这不是一份「只影响坏人」的公告,正常接 API 的团队会被这三条改到:
- 不要把「改写前序消息」当常规操作。 推理是绑在对话历史上的,改了历史,其后的推理就没了——这会让「先问一轮、再回头把 prompt 改干净重发」这类工作流出现行为变化。
- 工具调用参数也在输出分类器的检查范围内。 如果你的工具参数里塞了大段模型推理,可能被拦掉一部分,表现为「调用方收到的内容不完整」。
- 跨模型家族搬运上下文会失效。 旧模型读不到新模型的加密推理,混用模型做接力(便宜模型起草、贵模型收尾)时要注意这条边界。
正面的一条同样要写清:保留了对合法解释请求的响应,正常多轮对话里模型仍可基于先前推理继续,官方措辞是随着新消息加入,模型可以建立在更早的推理之上。
AI 之家 观点
这篇公告的真正价值不在 0.2%,而在它把「推理轨迹」正式确认为一种受管控的中间产物。 过去一年行业默认推理内容是「附加输出」——可以随便回放、随便压缩、随便搬进另一个上下文;一旦它成为受保护对象,很多工程习惯都要重新算:上下文迁移、轨迹复用、跨模型接力、以及把 CoT 存进日志再喂给别的模型做微调。
对做产品的团队,短期最该动的是两件事:一是排查有没有把模型推理原文写进日志并回流训练(这在合规上会变成新风险点),二是检查「改写历史消息」的代码路径,尤其是那些为了省 token 而重写 prompt 的实现。
同时保留一份怀疑:54% 到 0.2% 是自报的内部红队结果,攻击面只覆盖了 6 个攻击者模型与两类提取路径。对手换攻击面、换蒸馏目标(例如只要最终答案的高质量样本而非轨迹),这组数字未必成立。把它当「方向已被验证」,别当「问题已解决」。
相关阅读
- 模型:GPT-6 Astra · GPT-6 Luna
- 工具:Codex · OpenRouter
- 百科:Agent 责任归属 · 提示注入 · 上下文压缩
- 同周资讯:OpenAI 用 Codex 开「性能工厂」 · Anthropic 把两套网安计划并成三档
来源
常见问题
蒸馏不是常规做法吗,为什么现在要防?
OpenAI 明确区分了两件事:蒸馏是常见机器学习技术,属于中性;它防的是「对抗性蒸馏」——不在获得授权的前提下批量抽取前沿模型能力,却不必继承原模型的护栏。原文的表述是,通过对抗性蒸馏,第二个模型可以学到前沿能力而不继承约束原模型如何使用的 safeguards。
54.0% 到 0.2% 这个降幅是怎么测的?
口径是自适应黑盒红队(adaptive black-box red-teaming)下的平均攻击成功率,汇总 6 个攻击者模型。「从先前请求里提取受保护推理」这一路从 54.0%(GPT-6 Astra 原防护)降到 0.2%(GPT-6.2 Astra 新防护);「从当前请求提取」从 22.9% 降到 0.9%。新防护下两类攻击的平均成功率都低于 1%。这是厂商自报的内部评测,不是第三方审计。
普通开发者会感觉到什么变化?
三处 API 行为变化:① 受保护推理被绑定到产生它的对话历史,改写早前消息会导致其后的推理被丢弃;② 防护较弱的旧模型家族不能读取 GPT-6.2 Astra / Sol 的受保护推理;③ 输出分类器会检查助手消息与工具调用参数,流式与非流式都生效,所以工具调用参数里夹带的推理可能被拦掉一部分。正常多轮对话仍可基于先前推理继续。
为什么盯住推理轨迹,而不是最终答案?
因为轨迹里有答案里没有的东西。OpenAI 做了一个对照实验:同一个预训练学生模型,分别用精确推理轨迹和推理摘要做 SFT,再用轻量 RL。SFT 之后,学精确轨迹的学生普遍更好;RL 之后,在测试的最大推理预算下,精确轨迹学生在 ExploitBench 与 SEC-bench Pro 上仍然得分更高,而摘要学生在低预算下反而更好。结论是双用途能力的迁移主要来自轨迹。
这跟国家安全有什么关系?
OpenAI 把这件事直接上升到了国家层面:境外行为主体复制出美国模型的前沿能力后,可以在没有原开发者所设保护的情况下部署。对应动作是执法(每周对数千到数万个账号采取措施)、向其他厂商共享入侵指标、以及支持出口管制与相关立法(Chip Security Act、AI OVERWATCH Act、MATCH Act)。