扩散语言模型(Diffusion LM):一次生成一块,而不是一个字一个字往外挤
扩散语言模型用「块内并行 + 迭代修正」替代逐 token 生成:先在噪声里出一整块草稿,再反复打磨。优势是速度与全局规划,代价是缓存难做、结构化输出更麻烦。
发布 2026-11-20更新 2026-11-20核实 2026-11-20什么是扩散语言模型
扩散语言模型(Diffusion Language Model,简称 diffusion LM 或 dLLM)是一类不按从左到右顺序生成文本的语言模型。它的生成过程分两步:
- 先出一整块草稿——块内多个位置同时确定;
- 再反复修正——根据整块的上下文互相校验,逐步把错的位置改对。
对比一下自回归(autoregressive,AR):AR 模型每步只定一个 token,定了就不再回头。扩散模型反过来——一次定一批,然后允许改。
这个差别听起来只是实现细节,实际上决定了三件事:速度上限、缓存策略、以及能不能做「全局规划」。
为什么 2026 年才被认真对待
扩散语言模型不是新东西。2022 年前后就有连续空间的尝试,2024–2025 年掩码扩散(把 token 换成掩码再加噪)把质量拉到可用,港大 NLP 的 Dream 系列证明了「扩散能跟同尺寸自回归正面打」。但真正让它进入工程视野的是 2026 年发生的三件事:
| 变化 | 为什么关键 |
|---|---|
| 骨干复用成熟 MoE | 不再从零训一个扩散模型,而是拿已有的强骨干(如 Qwen3.6-35B-A3B)改生成方式,语言能力白拿 |
| 块扩散(block diffusion)成熟 | 纯并行生成难保连贯,块内并行 + 块间顺序是可行的折中 |
| Agent 场景把「延迟」变成核心指标 | 见 Agent Harness:Agent 每一步的延迟会沿任务链路累加,生成快一点,整条链路快很多 |
第三条是最实际的驱动力。Agent 不缺「想得深」,缺「转得快」——一次任务几十步工具调用,每步省两秒,整单就省一分钟。
工作原理:从加噪去噪到块扩散
1. 把「加噪」定义成「打掩码」
文本是离散的,没法直接加高斯噪声。掩码扩散的做法是:随机把一部分 token 替换成 [MASK],比例越高越「噪」。训练目标是从带掩码的句子恢复原文。
原文: Clover is a diffusion language model
加噪: [M] is a [M] language [M]
目标: 预测被遮住的位置
2. 反向过程就是「迭代解掩码」
推理时从全掩码(或高掩码率)出发,多轮预测 + 固定一部分高置信度的位置,直到全部填满。轮数就是「迭代步数」,是一个可以拿来换质量/延迟的旋钮——和采样温度不是一回事(见 Temperature 与 Top-p)。
3. 块扩散:块内双向,块间顺序
纯全序列并行的问题是连贯性差:整段同时生成,前后容易打架。**块扩散(block diffusion)**把序列切成固定大小的块:
| 范围 | 注意力形式 | 效果 |
|---|---|---|
| 块内 | 双向(每个位置能看到块内其他位置) | 可以同时生成、互相修正 |
| 块间 | 顺序 + 循环/因果记忆 | 保住「前面的内容不会被后面的改动推翻」 |
以 2026-11 开源的 Clover-35B-A3B 为例,它把 Gated Delta Networks 的循环记忆适配到块扩散上:历史内容压进循环状态,当前块的 token 与历史读出在同一个 softmax 里竞争,另有一条零初始化的右上下文卷积分支负责右侧信息。细节见 Clover 发布资讯。
4. 混血架构:MoE 骨干 + 扩散头
目前能打的扩散语言模型基本是混血:语言骨干沿用成熟的 MoE 结构(见 MoE 混合专家),只把生成本身换成扩散。好处很直接——省掉「重新学会语言」这一大笔训练成本,把风险集中在生成机制这一处。
与自回归的对比
| 维度 | 自回归 | 扩散(块扩散) |
|---|---|---|
| 生成单位 | 1 个 token / 步 | 一块(N 个 token)/ 步,多步修正 |
| 理论速度 | 受串行限制 | 接近块大小倍,被迭代步数摊薄 |
| KV cache | 天然适用,前缀不变 | 难直接套用,改动会向后传播 |
| 前缀缓存 | 支持良好(见 Prompt 缓存) | 命中率下降,需分块缓存 |
| 全局规划 | 弱(不能回头) | 强(块内可互相修正) |
| 结构化输出 | 逐 token 约束成熟 | 整块约束更复杂 |
| 长文本 | 靠 长上下文 撑 | 块越多,跨块一致性越难 |
| 生态成熟度 | 高(推理框架、量化、部署方案完备) | 低(SGLang / llama.cpp 才刚接) |
三种主流路线
- 掩码 / 吸收态扩散(主流):加噪 = 打掩码,训练目标接近 masked LM。优点是直接复用 Transformer 与 embedding,工程门槛低。
- 连续空间扩散:把 token 映到连续向量再加噪。理论优雅,离散化损失难处理,实际落地少。
- 半自回归 / 块扩散(当前最优解):块内并行、块间顺序。Clover、BD3 系列都在这条线上。
优势:不只是快
- 块内全局规划:同一块里的 token 能互相看,天生适合「需要前后一致」的片段——表格一行、函数签名加实现、一段 JSON 的多个字段。
- 可迭代修正:自回归写错只能继续往下写;扩散可以在块内回头改。这对「一次要出多个互相约束的字段」的任务是结构性优势。
- 并行度带来吞吐:batch=1 的延迟敏感场景与高并发批处理,收益来源不同——前者靠块并行,后者靠 GPU 利用率。
- 端侧更友好:显存受限时,用更少的串行步数换更低的实际等待。已有演示在 16GB 消费级显卡上跑 35B-A3B 的 INT4 版本。
坑与常见误区
误区一:「块大小 16 就是快 16 倍」。 迭代步数会把加速吃掉一大半。唯一可信的指标是同一 harness 下的端到端耗时,不是 tokens/s 的理论上限。
误区二:「扩散模型不能做 Agent」。 恰恰相反,Agent 是它最有希望的落点——但前提是工具调用格式的合法性要解决。测的时候必须单独测 function calling 的合法率(见 Function Calling),别拿 SWE-bench 的分数推断。
坑一:缓存几乎要重做。 依赖 Prompt 缓存 省钱的团队,换扩散模型后账单结构会变——缓存命中率下降意味着同样的对话更贵,这项要先测。
坑二:长任务的稳定性。 块越多,跨块漂移越明显。目前公开的预览模型都把「提升长程稳定性」写进下一步计划,长任务地板还没被验证。
坑三:评测生态没建起来。 同一个 SWE-bench 分数,在自回归模型上大家知道该信几分;在扩散模型上,连思考模式的 token 预算怎么算都没共识(见 推理档位)。
怎么读扩散模型的评测数字
按这个顺序问四个问题,能过滤掉大部分营销:
- harness 是谁的? 发布方自建的脚手架会把「壳」的优势算成「模型」的优势,见 Agent Harness。
- tokens/s 的 batch 是多少? batch=1 是延迟指标,batch>1 是吞吐指标,两者不可互换。
- 「内部数据」占多少? 内部负载不可复现,只能当方向判断。
- 对手跑在什么档位? 见 推理档位——高算力档打对方默认档,是常见的不公平比较。
哪些模型与工具在这一路线
| 类型 | 代表 | 说明 |
|---|---|---|
| 扩散语言模型 | Clover-35B-A3B-Preview | 35B / 3B 激活,Apache 2.0,128K 上下文 |
| 扩散语言模型 | Dream 系列(港大 NLP 起源) | 早期证明「能打」的 7B 级模型 |
| 扩散语言模型 | LLaDA 系列、Mercury 系列 | 常被拿来作对照的同类 |
| 推理框架 | SGLang、llama.cpp | 均已提供块扩散推理路径 |
| 本地客户端 | LobeChat、OpenCode | 走 OpenAI 兼容接口即可接 |
注意:「支持扩散」不等于「支持它的全部特性」。块大小、迭代步数、缓存策略往往由推理框架决定,接之前先确认框架版本。
与几个近义概念的区别
| 概念 | 关系 |
|---|---|
| 自回归(AR) | 对立面。AR 是逐 token 因果生成,扩散是块内并行 + 修正 |
| 投机解码(speculative decoding) | 目标相同(降延迟),手段不同:投机是「小模型起草、大模型校验」,扩散是「同时起草、迭代修正」。两者可叠加 |
| 非自回归翻译(NAT) | 思想同源(并行生成),但 NAT 多是一次成型不迭代,扩散有迭代修正 |
| MoE 混合专家 | 正交。扩散描述「怎么生成」,MoE 描述「哪些参数被激活」 |
| 推理模型 | 正交。扩散模型也能开思考模式,只是思考 token 的产生方式也不同 |
FAQ
Q:扩散模型会不会取代自回归? 短期不会。生态(推理框架、量化、部署、评测)全在自回归这边,而且自回归的缓存优势在长会话里很值钱。更可能的形态是按任务分流:短、并行友好、需要块内一致性的活给扩散,长程自主任务继续自回归。
Q:为什么扩散模型都在讲 Agent,而不是讲聊天? 因为聊天的瓶颈是人读得慢,生成快 5 倍用户感知不到;Agent 的瓶颈是链路串行累加,生成快 5 倍能直接换算成任务完成时间。
Q:开源扩散模型的许可证友好吗? 目前主流是 Apache 2.0(如 Clover),比一批「社区许可证」的自回归模型更宽松。但权重是权重、代码是代码,商用前两份都读一遍。
延伸阅读
- 同批资讯:Clover-35B-A3B 开源:扩散模型 SWE-bench 73.6 · 腾讯 Hy4 flash 开源
- 架构与训练:MoE 混合专家 · 长上下文 · LoRA 微调 · Native 多模态
- 推理与成本:Prompt 缓存 · 推理档位 · 每任务成本 · Temperature 与 Top-p
- Agent 相关:Agent Harness · Function Calling · Agent 沙箱 · Agent 验证 · MCP 协议
- 评测:SWE-bench · Terminal-Bench · 私有评测集
- 模型与工具:Qwen4-Max · DeepSeek V4.1 Flash · Kimi K3.1 Pro · OpenCode
本页由 AI 之家 编辑部整理。技术机制部分以论文与官方仓库为准;性能数字均为厂商自报,本站未独立复现。
常见问题
扩散语言模型和图像扩散模型是一回事吗?
同源不同路。图像扩散在连续像素空间加噪去噪;文本是离散 token,所以语言侧主流做法是把「加噪」定义为「把 token 替换成掩码」,再从掩码里恢复原文(吸收态 / 掩码扩散)。也有把 token 嵌到连续空间做扩散的路线,但 2026 年能打的模型基本都走掩码路线。
它比自回归快多少?
看任务,没有统一倍数。快的来源是「一块里 N 个 token 同时出」,理论加速接近块大小;实际被迭代步数吃掉一部分。已有公开数据是 Clover-35B-A3B 在单卡 H200 的 Agent 任务上 515 tokens/s,对比 DFlash2 加速的同尺寸自回归模型 365 tokens/s(厂商自报)。别把「块大小 16」直接换算成「快 16 倍」。
为什么不能直接用 KV cache?
自回归的 KV cache 建立在「前缀一旦生成就不再变」这个前提上。扩散是迭代修正——后面块的变化会反过来要求前面块重算,改动会向后传播,缓存命中率因此下降。工程上的折中是分块缓存 + 只重算受影响的块,具体实现各家不同。
能可靠输出 JSON 吗?
能,但比自回归麻烦。自回归可以逐 token 做语法约束(constrained decoding);扩散一次出多个位置,约束要同时作用在整块上,还得保证迭代过程中不破坏已合法的部分。这就是为什么扩散模型在 function calling 类任务上的表现要单独测,不能拿通用分推断。
现在能用在生产吗?
分场景。短输出、高并发、对延迟敏感的任务(分类、抽取、短代码补全)已经有可用空间;长程自主任务与严格结构化输出建议观望——目前公开的预览模型都还在补长任务稳定性。
相关工具
Aider vs OpenCode:两个开源终端 Agent,选哪个?2026 对比
Aider 与 OpenCode 2026 选型对比:同为开源终端 agent,Aider 以 Git-native 工作流与多语言支持见长,OpenCode 主打模型无关与 TUI 体验。从 6 个维度给出取舍建议。
OpenCode vs Claude Code:终端 AI Coding Agent 怎么选?开源平替 vs 官方 CLI 对比
OpenCode vs Claude Code 2026 选型对比:开源 MIT CLI(75+ 模型 BYOK)对阵 Anthropic 官方 CLI,从形态、模型自由、长任务、TUI、多会话、MCP、价格与国内门槛判断。
Open WebUI vs LobeChat:自建 AI 聊天前端怎么选(2026)
Open WebUI 与 LobeChat 都是可自部署的开源 AI 聊天前端。一句话结论 + 决策树 + 部署成本对比:要接 Ollama 本地模型与 pipeline 扩展选前者,要好看的界面与插件生态选后者。