跳到主内容

Clover 35B-A3B 开源:扩散语言模型在 SWE-bench 拿到 73.6,比同尺寸自回归更快

DiffuSpace 2026-11-18 发布 Clover-35B-A3B 扩散语言模型:35B MoE 仅 3B 激活、128K 上下文,SWE-bench Verified 73.6,Apache 2.0 开源。

2026-11-20 · arXiv 2611.24636(2026-11-18 提交 / 11-19 更新,一手) / DiffuSpace 官方发布博客(一手实取) / 官方 GitHub 仓库(一手)

发布 2026-11-20核实 2026-11-20

持续跟踪

这条资讯只是一次更新。同一主题的版本时间线、定价与横向对比,持续维护在常青页:

要点

  • 2026-11-18,DiffuSpace 在 arXiv 提交 Clover-35B-A3B-Preview 技术报告(arXiv 2611.24636,11-19 更新 v2);11-19 同步放出 SFT 训练代码。
  • 规格:35B 总参数 / 约 3B 激活的 MoE 扩散语言模型,支持思考模式,128K 上下文(131,072),骨干基于 Qwen3.6-35B-A3B。
  • 关键成绩(厂商自报):SWE-bench Verified 73.6、Terminal-Bench 2.1 51.7、τ³ Overall 65.3、BFCL-v4 67.9、GPQA Diamond 83.8、MMLU-Pro 84.8、ZebraLogic 95.8、AA-LCR 72.0。
  • 速度(厂商自报):单张 GB300、BF16、batch=1,内部 Agent 负载下 680 tokens/s;单张 H200 上 Agent 任务 515 tokens/s,对比 DFlash2 加速的同规模 Qwen 为 365 tokens/s。
  • Apache 2.0 开源,权重在 Hugging Face / ModelScope,代码在 GitHub,推理支持 SGLang 与 llama.cpp;BF16 权重约 69GB。
  • 团队出自港大 NLP 的 Dream 系列血脉(Dream 7B 于 2025-04 发布,官方称系列累计下载 270 万+)。

架构:扩散模型怎么保住「因果」

扩散语言模型的老问题是「并行生成」和「上下文连贯」天然打架:块内同时出多个 token 很爽,但块与块之间要保持因果,否则后半段会「记不住」前面。

Clover 的解法是在两者之间加一层循环记忆:

机制作用
块扩散(block diffusion)当前块内用双向 softmax 注意力,块内 token 互相看得到,可以并行生成 + 迭代修正
Gated Delta Networks 适配把已生成的历史压进循环记忆,跨块传递;官方原话是「历史记忆读出与当前块 token 在同一个 softmax 里竞争」
可学习的块大小校准块多大不是固定超参,而是学出来的
零初始化的右上下文卷积分支单独一条分支负责右侧上下文,零初始化意味着训练初期不干扰主路径

一句话概括:块内双向、块间循环。这既不是纯自回归的逐 token 生成,也不是「整段一次性乱生成」——它是把生成切成块,每块内并行、块间顺序。

速度数字要连口径一起读

扩散模型最爱讲速度,但「多少 tokens/s」这句话在不同口径下能差好几倍。官方的三组数字,各自的边界很清楚:

场景硬件 / 精度数字可复现性
内部 Agent 负载单卡 GB300,BF16,batch=1680 tok/s低(「内部数据」不可复现)
Agent 任务对照单卡 H200,对 DFlash2 加速的 Qwen515 vs 365 tok/s中(有对照组,仍需同 harness)
端侧量化RTX 5070 Ti 16GB,INT4,MATH-500101.8 vs 48.5 tok/s中(测试集公开,量化方案未全公开)

还有三组端到端 demo 值得一提,因为它们比 tokens/s 更接近用户体感:

  • 路径规划:Clover 用 28 步、169.9 秒完成;对照的 Qwen3.6 Flash 用满 30 步、578.3 秒仍停在距起点 347 公里的门店,判失败。
  • WebMCP 连续业务任务:49 项任务、每项 3 次尝试,Clover 的 Agent 执行耗时中位数 1.52 秒,对照 Gemini 3.6 Flash 为 8.86 秒。
  • 无人机调度复合报文:Clover 0.97 秒同时给出五项正确结果;Qwen 3.78 秒,且把其中一项任务类型解析错。

这些是官方演示,模型、框架、提示词、工具都由发布方掌握。可以拿来判断「方向对不对」,不能拿来当采购依据。

评测口径有一处对不上:六项还是七项

同一批材料里出现了两个说法:

  • 发布博客:在「本次对比的六项 Agent 评测」中均取得最高分(工具使用、专业工作、智能体编程三类覆盖)。
  • arXiv 摘要:在「七项被评测的 Agent 指标」上领先。

本站按事实并列,不择一。差异可能来自「τ³ 拆成 Overall 与 Banking 两项后算不算两项」这类切分问题,但官方没有说明,本站不推断。读分数时请以具体 benchmark 名为锚(SWE-bench Verified / Terminal-Bench 2.1 / τ³ / BFCL-v4),不要用「六项全胜」当结论。

三个该保留的怀疑

第一,Preview 就是 Preview。 官方自己在「下一步」里写明要「提升长程任务的稳定性」。长程不稳定正是扩散模型的老毛病——块内并行的代价是错误可能在块内互相强化。短任务(改一个函数、跑一段脚本)它可能真比同尺寸模型强;长任务的地板还没被验证。

第二,73.6 需要看 harness。 SWE-bench 的数字高度依赖脚手架与重试策略,站内已经反复记过这件事(见 Agent Harness)。同尺寸自回归模型的公开分往往出自不同 harness,横向比分会把「壳」的差距算成「模型」的差距。

第三,扩散模型对工具调用的友好度仍是开放问题。 function calling 要求结构化输出严格合法,而扩散是「先粗后细」地修正 token——理论上可以通过迭代收敛到合法 JSON,实践上多一层不确定性。官方把「Agent 运行框架与编程客户端」列为正在开发,说明配套还没到位。

AI 之家 观点

这条最该被记住的不是 73.6,而是**「35B-A3B 这个尺寸上,扩散第一次没输」**这件事本身。

过去两年扩散语言模型的定位一直是「速度换质量」:Dream 7B 证明了能打,但规模一上去就掉队。Clover 选了一条聪明的路——不在架构上另起炉灶,而是拿 Qwen3.6-35B-A3B 当骨干、只改生成方式。这样它继承了成熟 MoE 骨干的语言能力,把风险集中在「块扩散 + 循环记忆」这一处。这是「改造」而不是「重建」,工程上远比从零训一个扩散模型可控。

对开发者的现实判断有三条。一,短期别把它当主力编码模型。 Preview + 自报分数 + 配套未完成,这三条任何一条都足以让你先观望。二,它是端侧的好消息。 16GB 显存的消费卡上 INT4 能跑到 101.8 tokens/s,这个数字在同尺寸里是罕见的——「笔记本上跑 35B」从演示变成了可试的东西。三,它给了自回归路线一个必须回答的问题。 如果块内并行真的能在不明显掉质量的前提下拿到 5–10 倍生成速度,那 Agent 的瓶颈会从「模型想得慢」变成「工具调得慢」,整个 harness 的设计重点都要跟着挪。

最后一句提醒:扩散模型的评测生态还没建起来。同一份分数,在自回归模型上大家知道该信几分;在扩散模型上,连「思考模式的 token 预算怎么算」都还没有共识(见 推理档位)。看到漂亮的对比表,先问「它的对手跑在什么壳里、开了什么档」。

相关阅读

来源

本卡片由 AI 之家 编辑部根据 arXiv 论文、官方博客与仓库整理,非厂商付费内容。所有性能与速度数字均为发布方自报、未经第三方复现;「六项 / 七项」口径差异已并列标注,待官方澄清。

常见问题

Clover 是自回归模型吗?

不是。它是块扩散(block diffusion)语言模型:块内用双向注意力同时生成多个 token,再迭代修正;块与块之间用一个循环记忆承载前面已生成的内容,从而保住因果前缀。骨干基于 Qwen3.6-35B-A3B,所以架构上是「MoE 骨干 + 扩散生成头」的组合。

73.6 的 SWE-bench Verified 是什么水平?

放在 35B 这个量级的开源模型里,这是目前公开数字里的高位——官方同表对比的 Qwen3.6-35B-A3B、Qwen3.5-35B-A3B 都低于它,同为扩散路线的 LLaDA2.2 flash 与 Mercury 2.5 也低于它。但要注意这是厂商自报,评测 harness 由发布方指定,跨表不可直接比。

生成速度 680 tokens/s 是怎么测的?

官方口径是「单张 NVIDIA GB300、BF16、batch size 1、内部 Agent 场景数据」下的整体生成速度。这是自报数据,且「内部数据」不可复现。可复现一点的对照是:单张 H200 上 Agent 任务 515 tokens/s,对比采用 DFlash2 加速的同规模 Qwen 为 365 tokens/s。

许可证是什么?能商用吗?

模型权重与代码是 Apache 2.0(官方仓库 README 与徽章均标 Apache 2.0)。但它是 Preview 版本,官方在「下一步」里明确还要提升长程任务稳定性,生产使用要自评估。

本地跑得动吗?

BF16 权重约 69GB,单卡需要够放权重加推理状态;官方演示了 16GB 显存的 RTX 5070 Ti 上 INT4 量化部署,MATH-500 上 101.8 tokens/s。推理侧支持 SGLang 与 llama.cpp。

相关对比