字节 Axion 1.0:砍掉中训、DPO 与在线蒸馏,只用三步训出 122B Agent 模型
字节联合三所美国高校发布 Axion 1.0:只用两轮 SFT 加一轮 RL,跳过中训、DPO 与在线蒸馏,18,363 条轨迹训出 35B / 122B 两个 MoE 模型,122B 在 HLE 拿 59.0,数据构造与代码全公开。
2026-11-22 · Axion 1.0 论文(arXiv:2611.03233,2026-11-02 提交 / 11-11 修订,一手摘要) + The Decoder 及多家技术分析转述
发布 2026-11-22核实 2026-11-22要点
- ByteDance 联合杜克大学、马里兰大学、布法罗大学发布 Axion 1.0(arXiv:2611.03233):一个完全开放的 Agent 基座模型,训练配方只有三步。
- 三步 = 两轮 SFT + 一轮 RL。被刻意跳过的三样是:专门的中期训练(mid-training)、DPO、在线蒸馏(on-policy distillation)。
- 数据量小得反常:第一轮 SFT 10,819 条解题轨迹;第二轮 SFT 7,544 条(约 3.12 亿 token)工具检索轨迹;合计 18,363 条。
- 两个尺寸都是 MoE,SFT 阶段 128K 上下文:Axion 1.0-35B(基座 Qwen3.6-35B-A3B,每 token 激活 3B)与 Axion 1.0-122B(基座 Qwen3.5-122B-A10B,激活 10B)。
- 论文表格中的关键分数( 见下方口径说明):HLE 59.0 / 52.2、FrontierScience Olympiad 87.0 / 86.0、FrontierScience Research 66.7 / 56.7、SEAL-0 58.6 / 62.2、BioMysteryBench 41.7 / 35.3、HiPhO 46.2 / 45.7(前为 122B、后为 35B)。
- 开放程度超出「只放权重」:数据构造与过滤代码、提示词、训练代码(
bytedance/axion1_0)、训练数据集全部放出;35B BF16 checkpoint 以 Apache 2.0 发布,但 README 明写它是「社区发布版,不是官方 checkpoint」;122B 无权重下载链接。 - 时间线要说清:论文 2026-11-02 提交 arXiv、11-11 修订,11-20 之后才被媒体广泛报道。本文按「已发布数周的研究成果」对待,不作为 48 小时内突发新闻口径。
论文的靶子:没人说得清哪一步在起作用
论文开头的问题陈述很直白,翻译过来是:
为了让模型会查网页、会跑代码、会做多步任务,训练管线被越叠越长。没人说得清哪一步真正有用,复现一遍的成本还在涨。
这个问题在工程上有个很具体的名字:归因失败。当一条管线有七八个阶段,每个阶段都能让榜单一格,你就无法判断删掉其中三个会不会掉分——于是没人敢删。复杂度一旦进入管线,就会以「不敢动」的形式自我维持。
Axion 1.0 的做法是把这件事反过来:把难度做进数据,而不是做进阶段。
三步的细节,第二步最值得看
| 阶段 | 数据 | 练什么 | 关键设计 |
|---|---|---|---|
| SFT-1 | 10,819 条轨迹 | 不需要外部工具的完整推理 | 模型感知的数据构造:先看基座能解什么,再把题改成它解不出的(组合多题、改数值范围、加分类讨论),每次改写后重新校验参考答案。只允许 Python,不许联网 |
| SFT-2 | 7,544 条(约 3.12 亿 token) | 依赖工具检索的推理 | 倒着造题:先用程序从结构化数据库里筛记录、锁定唯一实体、算出答案,再让语言模型写对应的题目。凡是不查资料就能答的题全部丢弃 |
| RL | 长程 agent 轨迹 | 多步工具使用 | 异步 GRPO:rollout worker 与环境交互的同时策略在训练池里更新,避免同步 RL 的空转 |
SFT-2 用到的数据源在 README 里点名了:NASA Exoplanet Archive、OurAirports、OpenAlex、UniProt、Ensembl。
「倒着造题」这个顺序是整份配方里最聪明的一步。正向造题(先有题、再找答案)不可避免会遇到「答案有歧义」的问题;反过来先让程序算出唯一确定的答案、再让模型把问题写出来,就天然保证每道题都有可验证的唯一解——而这正是第三步 RL 需要的奖励信号来源。
工程侧还有两个细节值得记,都是「MoE + 长上下文 + RL」这个组合特有的坑:
- TITO(Token-In-Token-Out):在整条管线里保留原始 token ID 而不是反复 detokenize / retokenize,避免 rollout 与训练两侧的细微不一致;
- R3(Rollout Routing Replay):MoE 在 rollout 阶段选择的专家,和训练前向时选择的专家可能不是同一批(因为上下文不同)。R3 把 rollout 时的路由决策重放进训练,保证梯度更新落在真正产生该行为的那些专家上。
第 2 条对任何做 MoE + RL 的团队都是硬约束:不做路由重放,你强化的可能不是你以为的那个子网络。
分数与它自己的限定
论文表格中的成绩( 数值来源见下方口径说明):
| 评测 | Axion 122B | Axion 35B | 参照 |
|---|---|---|---|
| Humanity's Last Exam | 59.0 | 52.2 | 作者称超过 Gemini 3.1 Pro 的 51.4,低于 Claude Fable 5 的 63.8 |
| FrontierScience Olympiad | 87.0 | 86.0 | — |
| FrontierScience Research | 66.7 | 56.7 | 作者称超过 GPT-5.6 Sol 的 63.3 |
| SEAL-0(信息检索) | 58.6 | 62.2 | 小尺寸在该项反超,作者称同级领先 |
| BioMysteryBench | 41.7 | 35.3 | — |
| HiPhO | 46.2 | 45.7 | — |
口径必须原样转述,否则这些数字会被读高:
- 报告的是三次运行的最好成绩,不是平均值;
- 基线对比被作者描述为「指示性」而非严格控制变量——即对方模型的跑法未必与 Axion 完全对齐;
- 考试期间屏蔽了一批网站(含 Hugging Face);去掉限制后 122B 的 HLE 从 59.0 升到 64.8。
最后一条尤其值得琢磨:同一个模型、同一份题,能不能上网差 5.8 分。 这不是作弊,而是说明这类「科学问答」基准对信息可及性极度敏感——任何跨模型比较,只要没写清网络与工具条件,就不可直接比。
本文未能逐页核对论文 PDF:上表数字来自 arXiv 摘要页(摘要本身不含具体分数)与多家技术分析对论文表格的转述,其中 HLE 59.0 被多个独立来源一致引用。以官方 PDF 原文为准。
和「防蒸馏」正好相反的一步棋
时间线上有个巧合值得记:Axion 跳过在线蒸馏、把全套配方开源的同一周,OpenAI 公布了针对对抗性蒸馏的防御措施(本站已记录:OpenAI 反蒸馏,把推理轨迹的提取成功率从 54.0% 压到 0.2%)。
两家在同一个问题上押了相反的方向:
| OpenAI | 字节(Axion) | |
|---|---|---|
| 对推理轨迹的态度 | 保护:不让别人学到 | 公开:配方、数据、代码全放 |
| 隐含判断 | 能力主要来自训练过程本身 | 能力主要来自数据质量与任务构造 |
| 风险 | 生态被锁在自己的 API 后面 | 自己的投入被别人复用 |
这两条路谁对,目前没有答案。但 Axion 的实验至少给了一个可检验的论点:如果三步就能到 HLE 59.0,那么「管线长度」这个变量对 Agent 能力的边际贡献,可能远小于行业默认的水平。
AI 之家 观点
这份工作最值钱的地方不在 59.0,而在它把自己做成了可复现的基线。
三点判断:
- 「18,363 条轨迹」这个量级对中小团队是真正的信号。它意味着构建一个能干活的 Agent,瓶颈可能不在「有没有几百万条数据」,而在「这 1.8 万条数据造得够不够狠」。论文里的「模型感知的数据构造」是这个思路的可操作版本:先跑一遍基座,专挑它做不对的题改写。这套方法不需要大算力,需要的是耐心。
- 但要说清它的边界:Axion 建立在 Qwen 基座之上。一套好配方可以把别人的基座推到接近前沿,但它没有证明「预训练不重要」。把这篇读成「以后不用做基座了」是过度解读。
- 开源程度的不对称值得注意:代码、数据、提示词全放,但 122B 权重不放、35B 权重标注「社区发布版,非官方」。这是既想拿到「可复现」的声誉、又不想承担「直接对标官方模型」的责任——一种很务实的中间态。想直接用的人,得接受「这是社区版本」这个前提。
对本站读者的实际用法:如果你在做 Agent 训练或微调,这篇的价值是「配方」而不是「模型」。里面的 R3 路由重放、TITO、异步 GRPO 三件事,即使你不用它的数据,也能直接搬进自己的管线。
相关阅读
- OpenAI 反蒸馏:把推理轨迹的提取成功率从 54% 压到 0.2%
- MoE(混合专家)是什么,为什么它省算力也难调
- 范式 Phai-A1 / M1 开权重:全流程昇腾,单卡 3090 跑出编码能力
- 私有评测集:为什么公开榜单测不出你的真实水平
来源
- ⭐ Axion 1.0: Open Agent Foundation Models, Simplified(arXiv:2611.03233,2026-11-02 提交 / 2026-11-11 修订,一手摘要已核对)
- ⭐ Axion 1.0 训练代码(
bytedance/axion1_0,含数据生成与过滤、两阶段 SFT、异步 RL、评测脚本) - Bytedance argues most AI training phases are unnecessary and backs it up with a competitive open model(The Decoder,2026-11-21,本文时间线参照)
- Axion 1.0: ByteDance shows three training stages are enough for strong AI agents(技术分析,含 35B / 122B 参数表与发布物清单、README「社区发布版」原文)
- ByteDance's Axion 1.0 Matches Frontier Agents With Three Steps(含 HLE 59.0 / 64.8 两套口径与「best of three runs」限定)
- Axion 1.0: How ByteDance Built a Fully Open Agent Foundation Model with Just 18K Training Examples(含六项榜单完整表格与 R3 / TITO 说明)
常见问题
「三步」具体是哪三步?
两轮监督微调加一轮强化学习。第一步是第一轮 SFT,用 10,819 条科学与数学难题的解题轨迹,练「不需要外部工具的完整推理」;第二步是第二轮 SFT,用 7,544 条(约 3.12 亿 token)依赖工具检索的轨迹,练「自己去查、自己找证据」;第三步是异步 GRPO 强化学习,在长程 agent 轨迹上继续加强工具使用。被跳过的三样是:专门的中期训练(mid-training)、DPO(直接偏好优化)、在线蒸馏(on-policy distillation)。
为什么跳过中训和 DPO 反而更好?
论文的主张不是「跳过更好」,而是「跳过没有明显变差」。作者的核心论点是:训练阶段越叠越多,就越难判断哪一步真正有用,复现成本也越高。他们的替代方案是把难度做进数据里——用「模型感知的数据构造」(先看基座模型能解什么,再把题改成它解不出的)替代靠多阶段训练硬拔能力。是否在所有场景成立,目前只有这一篇论文的证据。
它是从零训练的吗?
不是。两个尺寸都建立在阿里的 Qwen 基座上:35B 版基于 Qwen3.6-35B-A3B,122B 版基于 Qwen3.5-122B-A10B。所以这份成果属于后训练(post-training)范围的贡献,不是预训练。这个区别很重要——它说明一套好配方可以把别人的基座带到接近前沿的水平,但也意味着基座本身的能力上限仍是天花板。
开源到什么程度?
比多数「开源模型」彻底:论文、项目页、数据构造与过滤代码、提示词、两阶段 SFT 与异步 RL 的训练代码、训练数据集都放出来了。但权重的开放度有保留:公开的是 35B 的 BF16 checkpoint(Apache 2.0),README 明写它「是社区发布版,不是官方 Axion checkpoint」;122B 权重没有下载链接,只能按训练说明自己重建。
59.0 的 HLE 分数可信吗?
要带着作者自己写的限定读。这些分数是作者团队的评测结果,报告的是三次运行的最好成绩而不是平均值;基线对比被描述为「指示性」而非严格控制变量。另外考试期间屏蔽了一批网站(含 Hugging Face),去掉限制后 122B 的 HLE 从 59.0 升到 64.8——这既说明可能的数据泄漏影响,也说明这个分数本身对评测环境敏感。