Gemini 4 Carbon 登顶 MathArena:赢 4.8 个百分点,成本是 GPT-6.1 Sol 的 15 倍
2026-11-13 MathArena 收录 Gemini 4 Carbon:Carbon 85.4% 登顶、Fable 5.2 82.8%,GPT-6.1 Sol 80.6%。本文把 15 倍与 38 倍的成本差算清楚。
2026-11-14 · MathArena(ETH Zurich SRI Lab / INSAIT)/ The Decoder
发布 2026-11-14核实 2026-11-15要点
- 2026-11-13,MathArena 官方更新:把 Claude Fable 5.2 与 Gemini 4 Carbon 的成绩加入榜单。
- 同一轮评测结果:Gemini 4 Carbon(high)85.4% ±3.0% 登顶,Claude Fable 5.2(max)82.8% ±5.3% 居次,GPT-6.1 Sol(max)80.6% ±2.7% 退到第三。
- 成本差距远大于分数差距:同轮开销约 $15.70 / $40.20 / $1.07,即 Carbon 约为 GPT-6.1 Sol 的 15 倍,Fable 5.2 约 38 倍(媒体表述为「约 40 倍」)。
- Carbon 最常见的失败原因是超时;测试中出现过脚本连续运行十一小时不检查进度的案例。
- 开源侧最强仍是 Kimi K3.1 Pro(max)54.3%——与闭源前三相差 26 个百分点以上。
- 时间点重叠:Gemini 4 Carbon 的发布期价 $2/$10 在 2026-11-30 截止,12-01 起翻倍到 $4/$20,本文下半部分的账要按新价重算。
背景与分析
MathArena 的价值在于「题是新的」。它由苏黎世联邦理工 SRI Lab 与 INSAIT 维护,题源取仍在出题的数学竞赛(AIME、HMMT、USAMO、IMO、Putnam、Miklós Schweitzer、Project Euler 等),并按月切分赛程。固定题集的老基准(GSM8K、MATH)早已进入「训练数据里见过」的状态,而月度新题把污染窗口压到了几周。
这个榜也因此有个副作用:它测的是「当下的泛化」,不是「数学能力的天花板」。分数随题目难度波动很大,置信区间常常到 ±3 至 ±5 个百分点——所以「Carbon 比 Fable 5.2 高 2.6 个百分点」严格说在误差范围内不构成显著领先,真正的差距是它比 GPT-6.1 Sol 高了 4.8 个百分点、且首次把非 OpenAI 模型推上第一。
更值得读的是失败模式,而不是分数。同一篇报道给出的两个观察:Carbon 最常撞的是时间上限;它还「几乎从不放弃」,一次测试里启动了跑十一小时的脚本却没回头检查进度。这两条合起来描述的是同一种性格——把「想更久」当成默认策略。
这也就解释了成本曲线为什么陡。多花的钱不只在输出 token 上,还在「反复自我检查、反复尝试不同路径」的隐式推理上。对 推理模型 这一类,分数与开销从来不是线性关系:最后几个百分点往往要用成倍的 token 去换。
三个模型的账,分开算
| 维度 | Gemini 4 Carbon(high) | Claude Fable 5.2(max) | GPT-6.1 Sol(max) |
|---|---|---|---|
| MathArena 总分 | 85.4% ±3.0% | 82.8% ±5.3% | 80.6% ±2.7% |
| 该轮评测开销 | $15.70 ±$1.33 | $40.20 ±$2.59 | $1.07 ±$0.018 |
| 相对成本 | 约 15× | 约 38× | 1× |
| 已知失败模式 | 超时、长尾不收敛 | 未在报道中单列 | 未在报道中单列 |
| 单价变化 | 11-30 前 $2/$10,12-01 起 $4/$20 | 见模型卡 | 见模型卡 |
读这张表的正确姿势:把「分数差」和「成本差」放在同一行看。Carbon 用 15 倍的钱换 4.8 个百分点,折算下来每提升 1 个百分点约多花 3 倍预算;Fable 5.2 用 38 倍的钱换 2.2 个百分点,单位分数的边际成本更高——但它俩的置信区间重叠,这个折算只能当量级参考,不能当精确结论。
而 12-01 之后,Carbon 的这一列要乘 2。如果那时它仍是榜首,则「每 1 个百分点的溢价」会变成约 6 倍。这不是危言耸听:本站 Gemini 4 Carbon 模型卡 已记录该调价,跨年预算若还按发布期价报,直接错一倍。
对开发者的影响
- 不要用榜单第一名做默认模型。数学榜衡量的是「给定足够算力时的上限」,而生产环境的约束通常是延迟与成本。Carbon 的超时失败在离线批处理里只是慢,在交互式产品里就是错误。
- 把「超时」当一等公民对待。Carbon 十一小时不回报进度的案例说明:对这类长思考模型,客户端必须自带心跳、预算上限与中途检查点,不能只依赖服务端的超时。这条对 Codex、Claude Code 这类 Agent 里挂长任务同样成立。
- 路由策略比选型更重要。既然分数差在误差范围内、成本差却是量级差,合理做法是「默认小模型 + 难题升级」:先用便宜的跑,答不出或自检不通过再升到 Carbon / Fable 5.2。多模型编排的能力现在由 OpenRouter 这类网关提供,也可用 LiteLLM 自建。
- 开源侧的现实:Kimi K3.1 Pro 54.3% 与闭源前三差 26 个百分点以上。这个差距说明数学推理仍是闭源模型的护城河,但注意这是「max 档 + 竞赛新题」的极端设定,日常工程任务上的差距远没有这么夸张。
AI 之家 观点
这张榜最容易被误读成「Google 赢了」。更准确的读法是:在「不计时间、不计成本」的前提下,Gemini 4 Carbon 现在是数学推理最强的公开可用模型——这三个限定词一个都不能省。
因为一旦把时间与成本加回来,结论会翻转。85.4% 与 80.6% 差 4.8 个百分点,而账单差 15 倍;等 12-01 涨价后是 30 倍。为一个在高难度数学题上才体现出来的 4.8 个百分点付 15 倍钱,只在「答错比答慢贵得多」的场景成立——比如形式化验证、精算复核、竞赛级题库生成。绝大多数产品的正确选择是「默认档不用它,难题才升级」。
还有一条被忽略的信号:Carbon 的失败模式是不肯停。这在 Agent 场景里比「答错」更危险——一个不会自己收手的模型,会把预算烧在无效探索上。AI 之家 推荐结论:把 Carbon 当「重炮」而不是「主力」,接入时第一件事是给它套预算与超时;同时留意 12-01 的调价,那才是决定它能不能留在生产链路的真正变量。
待核实
- 表中「开销」的确切口径(单题均值 / 整轮运行 / 每百万 token 折算)报道未明示,本文按「同轮评测运行开销」表述;精确口径需查 MathArena 原始页面,本站本次未能取得榜单明细(页面为前端渲染,未取到表格数据)。
- 85.4% / 82.8% / 80.6% 对应的具体赛程与题量未在报道中列出,不同月份题目难度差异会显著影响可比性。
- Fable 5.2 与 GPT-6.1 Sol 的失败模式、超时率官方未公布。
- 12-01 涨价后 Carbon 在 MathArena 的性价比排序是否反转,需等下一轮更新。
相关阅读
- 模型:Gemini 4 Carbon · GPT-6.1 Sol · Claude Fable 5.1 · Kimi K3.1 Pro
- 概念:推理模型 · 推理档位与 Effort · 每任务成本 · SWE-bench
- 工具:OpenRouter · LiteLLM · Codex
- 资讯:Gemini 4 Carbon 全面开放
来源
常见问题
MathArena 是什么,为什么这个榜值得看?
由苏黎世联邦理工 SRI Lab 与 INSAIT 维护的数学推理榜,题源是仍在进行的数学竞赛(AIME、HMMT、USAMO、IMO、Putnam、Project Euler 等),且按时间分月出题。相比固定题集的老基准,它更难被训练数据污染,所以「新模型一上线就能拉开差距」的信号更干净。
Carbon 是真的更强,还是只是花了更多思考?
两者都有。Carbon 在 high 档拿下 85.4%,但同一轮测试里它最常见的失败原因是超时,还出现过脚本跑了十一小时不检查进度的案例。这更像「用时间与算力换分数」,不是单位算力的效率提升。
成本差 15 倍是怎么算出来的?
以同一次评测运行的开销比对:Carbon(high)约 $15.70、Claude Fable 5.2(max)约 $40.20、GPT-6.1 Sol(max)约 $1.07,后两者相对 GPT-6.1 Sol 分别约 15 倍与 38 倍(媒体口径写「约 40 倍」)。注意这是评测设定下的开销,不等于你业务的每任务成本。
做数学/推理任务应该直接换 Carbon 吗?
先看你的失败代价。如果超时等于失败(在线答疑、交易决策、实时风控),Carbon 的长尾耗时是硬伤;如果是离线批处理、答案可复核,多花 15 倍换 4.8 个百分点可能划算——但 12-01 起它的单价还要翻倍,这笔账要按新价重算。