Co-Design Bench：真实用户改需求，最强模型也只有 26.4% 能一次改对

数据来源：本文所有分数取自论文原文（arXiv:2610.35138，2026-10-26 提交）与项目页公开排行榜数据文件，编辑部逐个数值核对，未做二次换算。论文的 harness 对照表（Table 12）与主榜口径不同，本文只在比较 harness 差异时引用，不与主榜数值混用。

要点

• 阿里 Token Hub 与复旦、浙大、港中文、上交、南洋理工的团队发布 Co-Design Bench，2026-10-26 挂上 arXiv，论文编号 2610.35138。
• 基准从 26,314 个真实用户编程会话里的 37,463 条去重请求中筛出 273 个任务，其中多模态编辑（ME）100 个、仓库编辑（RE）173 个。
• 每个任务配 2331 条专家撰写的隐藏验收标准，输入可以是图片、音频、视频、文档或纯文字。
• 统一 harness 下 10 个模型端点参评，最强的是 GPT-6 Astra：平均通过 69.9% 的验收标准，但只有 26.4% 的任务全部通过。
• 换 harness 的影响与换模型同量级：Qwen3.8-27B 在 RE 赛道从 0.560 到 0.749，落差 18.9 个百分点；ME 赛道上两个模型的 harness 排名完全反转（Spearman ρ = −1.00）。
• 老基准已经饱和：同一代模型在 WebCompass-edit 的 agentic 口径下能到 99.4%，在 Co-Design Bench 上只有 64.9%，落差 35.1 个百分点。

这份基准是怎么造出来的

它想回答的问题很具体：用户说「把这个页面改一下」，Agent 能不能交回一个真的能用的版本。

造题方式和 SWE-bench 一路不同。研究人员没有从 issue 列表里挑题，而是回到真实会话：优先保留那些用户反复改述、甚至回滚过的请求——也就是实际让 AI 吃过亏的任务。所以这份基准天生偏难，它不是随机抽样，而是从失败区取样。

两个赛道分工明确：

判分是这套基准最值得看的部分：judge-then-refute（先判后驳）。第一个模型在浏览器里实际操作成品、按证据逐条判分；第二个模型对每一条「通过」重新质疑，专门查假实现——截图占位、硬编码结果、只在特定输入下成立的分支。只有真正在应用里跑起来的功能才得分。

十个模型的真实成绩

严格口径（逐条验收标准通过率 / 任务全对率）：

几条读法：

• 「平均 70%」和「全对 26%」是同一件事的两面。 大部分任务主体做完了，剩一两条细节没落地——这就是日常用 Agent 改页面时反复遇到的状态：它没有失败，只是需要人收尾。
• 题越杂越崩。 RE 赛道里单类改动（1–2 类）Astra 能到 71.5%，三到四类改动掉到 64.5%，十个端点无一例外全部下降。
• 多给算力没用。 GLM-5.2 在 ME 上烧了 7.29M token（Astra 1.24M 的近 6 倍）、跑了 69 轮，得分仍低 18 个百分点。这不是预算问题。
• 动效类全军覆没。 「Motion & adaptation」这一类只有 4 道题，十个模型的全对率是 0.0%——从参考视频里还原三条文字的动画，没人一次做对。

harness 的分量，和模型一样重

论文单独做了一组对照：固定模型、只换执行 harness，用 codex 0.142.0、opencode 1.18.13、qwen-code 0.21.11 各跑一遍，prompt 与判分协议全部相同。

结果值得所有做选型的人抄下来：

两个结论：

1. 同一模型换 harness，能差出 18.9 个百分点——比多数模型之间的差距还大。
2. harness 排名会随模型反转。 ME 赛道上 kimi-k3 在 qwen-code 里最高、Qwen3.8-27B 在 opencode 里最高，两个模型的 harness 排序完全相反。

所以「模型排行榜」只讲了一半故事。选型要测「模型 + harness」这一对，不能只挑模型。

口径提示：这张表是论文的 harness 对照实验，与主榜的分数基准不同（同一模型在两张表里数值不等），只能横向比较 harness 之间的差异，不能跨表比较绝对水平。

对开发者的影响

• 别再用「能不能完成」这种二值判断评估 Agent。 现实分布是「完成 70%、全对 26%」，工程上该按**「剩余收尾成本」**设计流程：留人工复核环节，而不是指望一次通过。
• 把改动拆小。 三到四类改动混在一个任务里，所有模型都掉分。一次只委托一类改动（先布局、再交互、最后文案），是当前最有效的提分手段。
• harness 值得单独 A/B。 如果你的 Agent 走的是自研 CLI 或第三方客户端，先固定模型换 harness 跑一次；差异可能大于换模型。
• 验收标准要能机器判。 这套基准的判分靠浏览器实操 + 独立复核，等于把「功能真的能用」写成了可执行条件——这正是站内 Agent 结果核验 里强调的那一层。

AI 之家 观点

这份基准最有价值的地方不是排名，而是它把「部分完成」变成了一个可测量的一等公民。过去两年大家习惯了 99% 这种数字，那是因为老基准的题「有唯一答案、能被自测」；一旦题目换成真实用户那句含糊的「把这个改好看点」，分数立刻掉到 26%——掉的不是模型能力，是基准与被测量对象之间的错配。

第二个值得记住的是 harness 那组对照。它说明能力不在模型里，而在「模型 × 工具链」的组合里。这解释了一个长期困惑：为什么同一个模型，有人觉得好用有人觉得难用。否认这件事的排行榜，本质上是在给半个系统打分。

第三个是那条 0.0%：动效类任务十家全挂。这不是巧合——从视频里读出「三条文字分别做了什么动画」需要的是时序理解，而当前多模态前端能力主要堆在静态截图上。 谁先把这块补上，谁就拿到了下一个差异点。

相关阅读

• 模型卡：GPT-6 Astra · Claude Opus 5 · Kimi K3 · GLM-5.3
• 概念：Agent 结果核验 · Agent Harness · SWE-bench · Terminal-Bench
• 工具：Codex CLI · Claude Code · OpenCode
• 相关资讯：AI 编程周报 2026-11-06

来源

• ⭐ Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models（arXiv:2610.35138，2026-10-26 提交，一手论文）
• ⭐ 项目页与公开排行榜（含 site-data.json 全量分数，2026-11-09 核对）
• 论文 HTML 全文（Table 12 harness 对照、用例与判分细则）
• 基准代码仓库（Wiselnn570/Co-Design-Bench）
• 数据集（Hugging Face，Wiselnn/Co-Design-Bench）
• The Decoder：AI coding agents still need human cleanup on nearly three out of four tasks（2026-11-08，二手报道，用于交叉核对口径）