Clover 35B-A3B 开源:扩散语言模型在 SWE-bench 拿到 73.6,比同尺寸自回归更快
DiffuSpace 2026-11-18 发布 Clover-35B-A3B 扩散语言模型:35B MoE 仅 3B 激活、128K 上下文,SWE-bench Verified 73.6,Apache 2.0 开源。
2026-11-20 · arXiv 2611.24636(2026-11-18 提交 / 11-19 更新,一手) / DiffuSpace 官方发布博客(一手实取) / 官方 GitHub 仓库(一手)
发布 2026-11-20核实 2026-11-20要点
- 2026-11-18,DiffuSpace 在 arXiv 提交 Clover-35B-A3B-Preview 技术报告(arXiv 2611.24636,11-19 更新 v2);11-19 同步放出 SFT 训练代码。
- 规格:35B 总参数 / 约 3B 激活的 MoE 扩散语言模型,支持思考模式,128K 上下文(131,072),骨干基于 Qwen3.6-35B-A3B。
- 关键成绩(厂商自报):SWE-bench Verified 73.6、Terminal-Bench 2.1 51.7、τ³ Overall 65.3、BFCL-v4 67.9、GPQA Diamond 83.8、MMLU-Pro 84.8、ZebraLogic 95.8、AA-LCR 72.0。
- 速度(厂商自报):单张 GB300、BF16、batch=1,内部 Agent 负载下 680 tokens/s;单张 H200 上 Agent 任务 515 tokens/s,对比 DFlash2 加速的同规模 Qwen 为 365 tokens/s。
- Apache 2.0 开源,权重在 Hugging Face / ModelScope,代码在 GitHub,推理支持 SGLang 与 llama.cpp;BF16 权重约 69GB。
- 团队出自港大 NLP 的 Dream 系列血脉(Dream 7B 于 2025-04 发布,官方称系列累计下载 270 万+)。
架构:扩散模型怎么保住「因果」
扩散语言模型的老问题是「并行生成」和「上下文连贯」天然打架:块内同时出多个 token 很爽,但块与块之间要保持因果,否则后半段会「记不住」前面。
Clover 的解法是在两者之间加一层循环记忆:
| 机制 | 作用 |
|---|---|
| 块扩散(block diffusion) | 当前块内用双向 softmax 注意力,块内 token 互相看得到,可以并行生成 + 迭代修正 |
| Gated Delta Networks 适配 | 把已生成的历史压进循环记忆,跨块传递;官方原话是「历史记忆读出与当前块 token 在同一个 softmax 里竞争」 |
| 可学习的块大小校准 | 块多大不是固定超参,而是学出来的 |
| 零初始化的右上下文卷积分支 | 单独一条分支负责右侧上下文,零初始化意味着训练初期不干扰主路径 |
一句话概括:块内双向、块间循环。这既不是纯自回归的逐 token 生成,也不是「整段一次性乱生成」——它是把生成切成块,每块内并行、块间顺序。
速度数字要连口径一起读
扩散模型最爱讲速度,但「多少 tokens/s」这句话在不同口径下能差好几倍。官方的三组数字,各自的边界很清楚:
| 场景 | 硬件 / 精度 | 数字 | 可复现性 |
|---|---|---|---|
| 内部 Agent 负载 | 单卡 GB300,BF16,batch=1 | 680 tok/s | 低(「内部数据」不可复现) |
| Agent 任务对照 | 单卡 H200,对 DFlash2 加速的 Qwen | 515 vs 365 tok/s | 中(有对照组,仍需同 harness) |
| 端侧量化 | RTX 5070 Ti 16GB,INT4,MATH-500 | 101.8 vs 48.5 tok/s | 中(测试集公开,量化方案未全公开) |
还有三组端到端 demo 值得一提,因为它们比 tokens/s 更接近用户体感:
- 路径规划:Clover 用 28 步、169.9 秒完成;对照的 Qwen3.6 Flash 用满 30 步、578.3 秒仍停在距起点 347 公里的门店,判失败。
- WebMCP 连续业务任务:49 项任务、每项 3 次尝试,Clover 的 Agent 执行耗时中位数 1.52 秒,对照 Gemini 3.6 Flash 为 8.86 秒。
- 无人机调度复合报文:Clover 0.97 秒同时给出五项正确结果;Qwen 3.78 秒,且把其中一项任务类型解析错。
这些是官方演示,模型、框架、提示词、工具都由发布方掌握。可以拿来判断「方向对不对」,不能拿来当采购依据。
评测口径有一处对不上:六项还是七项
同一批材料里出现了两个说法:
- 发布博客:在「本次对比的六项 Agent 评测」中均取得最高分(工具使用、专业工作、智能体编程三类覆盖)。
- arXiv 摘要:在「七项被评测的 Agent 指标」上领先。
本站按事实并列,不择一。差异可能来自「τ³ 拆成 Overall 与 Banking 两项后算不算两项」这类切分问题,但官方没有说明,本站不推断。读分数时请以具体 benchmark 名为锚(SWE-bench Verified / Terminal-Bench 2.1 / τ³ / BFCL-v4),不要用「六项全胜」当结论。
三个该保留的怀疑
第一,Preview 就是 Preview。 官方自己在「下一步」里写明要「提升长程任务的稳定性」。长程不稳定正是扩散模型的老毛病——块内并行的代价是错误可能在块内互相强化。短任务(改一个函数、跑一段脚本)它可能真比同尺寸模型强;长任务的地板还没被验证。
第二,73.6 需要看 harness。 SWE-bench 的数字高度依赖脚手架与重试策略,站内已经反复记过这件事(见 Agent Harness)。同尺寸自回归模型的公开分往往出自不同 harness,横向比分会把「壳」的差距算成「模型」的差距。
第三,扩散模型对工具调用的友好度仍是开放问题。 function calling 要求结构化输出严格合法,而扩散是「先粗后细」地修正 token——理论上可以通过迭代收敛到合法 JSON,实践上多一层不确定性。官方把「Agent 运行框架与编程客户端」列为正在开发,说明配套还没到位。
AI 之家 观点
这条最该被记住的不是 73.6,而是**「35B-A3B 这个尺寸上,扩散第一次没输」**这件事本身。
过去两年扩散语言模型的定位一直是「速度换质量」:Dream 7B 证明了能打,但规模一上去就掉队。Clover 选了一条聪明的路——不在架构上另起炉灶,而是拿 Qwen3.6-35B-A3B 当骨干、只改生成方式。这样它继承了成熟 MoE 骨干的语言能力,把风险集中在「块扩散 + 循环记忆」这一处。这是「改造」而不是「重建」,工程上远比从零训一个扩散模型可控。
对开发者的现实判断有三条。一,短期别把它当主力编码模型。 Preview + 自报分数 + 配套未完成,这三条任何一条都足以让你先观望。二,它是端侧的好消息。 16GB 显存的消费卡上 INT4 能跑到 101.8 tokens/s,这个数字在同尺寸里是罕见的——「笔记本上跑 35B」从演示变成了可试的东西。三,它给了自回归路线一个必须回答的问题。 如果块内并行真的能在不明显掉质量的前提下拿到 5–10 倍生成速度,那 Agent 的瓶颈会从「模型想得慢」变成「工具调得慢」,整个 harness 的设计重点都要跟着挪。
最后一句提醒:扩散模型的评测生态还没建起来。同一份分数,在自回归模型上大家知道该信几分;在扩散模型上,连「思考模式的 token 预算怎么算」都还没有共识(见 推理档位)。看到漂亮的对比表,先问「它的对手跑在什么壳里、开了什么档」。
相关阅读
- 概念:MoE 混合专家 · SWE-bench · Terminal-Bench · Agent Harness · 推理档位 · 长上下文 · 每任务成本
- 模型:DeepSeek V4.1 Flash · Qwen4-Max · Kimi K3.1 Pro
- 工具:OpenCode · LobeChat
- 同批资讯:腾讯 Hy4 flash 开源 · 范式 Phai-A1 / M1 开源 · Ripple-65B 开源 · OpenAI 性能工厂
来源
- Clover-35B-A3B-Preview 技术报告(arXiv 2611.24636,2026-11-18 提交、11-19 更新 v2;架构描述与「七项 Agent 指标」表述出处)
- DiffuSpace 官方发布博客(一手实取:六项 Agent 评测表述、SWE-bench 73.6 / TB2.1 51.7 / τ³ 65.3、680 与 515 tok/s、16GB INT4 部署、Apache 许可)
- 官方 GitHub 仓库(一手:README 规格 35B/A3B、128K 上下文、BF16 约 69GB、SGLang 与 llama.cpp 支持、SFT 代码目录)
- Hugging Face 模型页(官方 README 指向,本次未逐文件核对权重尺寸)
本卡片由 AI 之家 编辑部根据 arXiv 论文、官方博客与仓库整理,非厂商付费内容。所有性能与速度数字均为发布方自报、未经第三方复现;「六项 / 七项」口径差异已并列标注,待官方澄清。
常见问题
Clover 是自回归模型吗?
不是。它是块扩散(block diffusion)语言模型:块内用双向注意力同时生成多个 token,再迭代修正;块与块之间用一个循环记忆承载前面已生成的内容,从而保住因果前缀。骨干基于 Qwen3.6-35B-A3B,所以架构上是「MoE 骨干 + 扩散生成头」的组合。
73.6 的 SWE-bench Verified 是什么水平?
放在 35B 这个量级的开源模型里,这是目前公开数字里的高位——官方同表对比的 Qwen3.6-35B-A3B、Qwen3.5-35B-A3B 都低于它,同为扩散路线的 LLaDA2.2 flash 与 Mercury 2.5 也低于它。但要注意这是厂商自报,评测 harness 由发布方指定,跨表不可直接比。
生成速度 680 tokens/s 是怎么测的?
官方口径是「单张 NVIDIA GB300、BF16、batch size 1、内部 Agent 场景数据」下的整体生成速度。这是自报数据,且「内部数据」不可复现。可复现一点的对照是:单张 H200 上 Agent 任务 515 tokens/s,对比采用 DFlash2 加速的同规模 Qwen 为 365 tokens/s。
许可证是什么?能商用吗?
模型权重与代码是 Apache 2.0(官方仓库 README 与徽章均标 Apache 2.0)。但它是 Preview 版本,官方在「下一步」里明确还要提升长程任务稳定性,生产使用要自评估。
本地跑得动吗?
BF16 权重约 69GB,单卡需要够放权重加推理状态;官方演示了 16GB 显存的 RTX 5070 Ti 上 INT4 量化部署,MATH-500 上 101.8 tokens/s。推理侧支持 SGLang 与 llama.cpp。