循环变压器(Looped Transformer)
循环变压器是把模型的层分块,让中间某些块对每个 token 重复执行多次的架构:同一份权重被反复使用,用「多算几遍」换推理深度,而不是靠堆参数。Thinking Machines 的 Inkling 2 Mini 是 2026 年第一个把这条路做到可开源、可本地跑的样本——24 层里中间 12 层各跑三遍,26.4B 参数只激活 5.4B。
发布 2026-11-22更新 2026-11-22核实 2026-11-22什么是循环变压器
循环变压器(Looped Transformer)是一种把层分块、让中间某些块重复执行的 Transformer 架构。
普通 Transformer 里,每个 token 从第 1 层走到第 N 层,每层只用一次;要「想得更深」,只能加层、加参数。循环变压器改了一件事:层不动,让其中一部分层对同一个 token 执行多遍。
这个改动的意义可以用一句话概括:推理深度不再由参数量决定,而是由「同一批权重被用几遍」决定。
两者的差别值得列清楚,因为很容易被混为一谈:
| 加深模型(更多层) | 循环变压器 | |
|---|---|---|
| 提升方式 | 加层、加权重 | 已有层多跑几遍 |
| 参数量 | 随深度线性上涨 | 不变 |
| 推理深度 | 训练时定死 | 可在运行时调整(研究版可配 1–5 次) |
| 主要成本 | 显存 + 每 token 计算量 | 每 token 计算量(乘循环次数) |
| 本质 | 用参数换能力 | 用计算换能力 |
一个可对照的实例:Inkling 2 Mini
2026-11-20,Thinking Machines 开源的 Inkling 2 Mini 是目前公开资料最完整的循环变压器样本。它的结构拆解值得当作教科书看:
| 项 | 做法 |
|---|---|
| 总层数 | 24 层(存储层面) |
| 分块 | 4 块 × 6 层 |
| 循环方案 | 中间两块(共 12 层)各执行 3 遍,首块(prelude)与末块各 1 遍 |
| 每 token 层运算 | 48 次(24 层 × 平均 2 次) |
| 参数账 | 总 26.4B;每 token 激活 3.4B;含循环的权重激活量 5.4B |
| 跨循环传递 | 中间两块在三次循环中共享权重;第 2、3 遍读取上一遍留下的 "message",通过学习门控与 prelude 输出合并 |
| 稳定性技巧 | 门控初始把 message 完全屏蔽(等价于非循环模型),训练中逐步放大增益 |
最后两行是最容易被忽略、但对能不能训起来最关键的:
- 循环不是「重复算一遍就完事」,中间需要一条跨循环的信息通道(这里叫 message),否则三遍循环等价于把同一层堆三份、只是在放大同一件事。
- 门控从「全屏蔽」起步。训练初期随机初始化的 message 会污染表示,先让循环结构等价于普通模型、再逐步放开,是典型的「先注入结构、再注入信息」。
为什么循环深度值得单独当作一个概念
因为它把「模型能力」这个笼统的说法拆成了两个可分辨的维度:
| 维度 | 决定什么 | 靠什么提升 |
|---|---|---|
| 知识存量 | 知道多少事实 | 参数规模、训练数据 |
| 推理深度 | 能用已知事实推多远 | 循环次数、思维链长度 |
Inkling 2 Mini 官方把这条边界写得很直白:循环提升的是多跳推理,不增加事实存储。闭卷事实问答(SimpleQA Verified、WorldVQA)几乎不受循环次数影响;受惠最大的是多跳检索(MRCR)、数学与科学(HMMT、GPQA Diamond、HLE)以及长程 agent 任务(SWE-bench Pro、BrowseComp)。
这条对选型有直接含义:如果你的任务卡在「模型不知道」,加循环没用;卡在「模型知道但串不起来」,加循环才有用。
循环带来的一个副作用:思维链变短了
Inkling 2 Mini 的研究版(TML-d24-varloop-research)放出了一组反直觉的数据:
| 循环次数 | 思维链平均 token | 可读性 | 不确定词(wait / actually / hmm)占比 |
|---|---|---|---|
| 1 次 | 3,703 | 基线 | 9.7 |
| 5 次 | 1,661 | 未见下降(句长、词类分布不变) | 3.6 |
翻成人话:在模型内部多想几遍,可以让它写在纸上的推理变短、而且更笃定。
这和「思维链越长越强」的流行叙事正好相反。区别在于压缩发生的位置——这里压缩的是模型内部的重复推导(因为同一批层已经迭代过,不必在文本里再演一遍),而 上下文压缩 压缩的是对话历史。前者丢的是重复,后者丢的是证据。同样是「变短」,风险完全不同。
边界与还没答案的问题
必须说清四件事,否则这个概念会被用歪:
- 循环次数有上限,且不同任务上限不同。官方数据是:无 CoT 的等效推理时间在 3 次循环后基本持平;但纯串行推理(N-Hop Lookup)的改善能持续到 10 次。没有一个「最优循环数」可以通用。
- 「中间层循环优于末层循环」只有单族证据。28 项评测里 27 项胜出,结论很强,但只有一个模型族、一个规模。别当成架构通例。
- 可监控性问题尚未闭环。官方在 LinuxArena 上测了「循环次数增加会不会让推理更难被监控」,结论是在该规模下没有观察到显著下降。注意限定词:该规模下。
- 训练成本与工程复杂度都被低估。循环结构不是改几行配置,它牵动门控初始化、跨循环通信、以及(Inkling 2 Mini 的做法)4-bit 原生训练与专用 kernel。个人开发者只能消费成品,不能自建。
常见误区
- 「循环变压器就是 RNN 回来了」——不是。RNN 在时间步上共享权重、串行处理序列;循环变压器在深度方向重复层,序列内仍是并行的 Transformer 计算。共同点只是「共享权重 + 迭代」。
- 「循环次数越多越聪明」——实测是先升后平,串行任务上能到 10 次,一般任务 3 次就够。
- 「参数少了就便宜」——单 token 成本确实低,但循环会成倍放大计算量。算账要看「每任务成本」,不是「每百万 token 单价」。
- 「它能替代大模型」——不能。它解决的是「想得深」,不解决「知道得多」。
相关阅读
- Inkling 2 Mini 开源:24 层里让中间 12 层跑三遍
- MoE(混合专家)是什么,为什么它省算力也难调
- 上下文压缩:/compact 什么时候用、压什么、会丢什么
- 推理档位(Reasoning Effort):同一个模型为什么要分 high / xhigh
- 每任务成本:为什么 token 单价算不出真实开销
来源
- ⭐ Inkling 2 Mini(Thinking Machines 官方发布页,2026-11-20,一手,含循环结构、门控与全部榜单)
- ⭐ OpenRouter 模型目录(2026-11-22 实取,
thinkingmachines/inkling-2-mini上下文 1,048,576、$0.075/$0.30) - New open model Inkling 2 Mini thinks in loops to solve problems with fewer words(The Decoder,2026-11-21,含 20GB 权重与 32GB Mac 门槛)
- Inkling 2 Mini on Artificial Analysis(Intelligence Index 20,成本约 Qwen3.8 27B 的 1/6)
- 权重与研究版(Hugging Face,本次全站不可达,未能核对模型卡)
常见问题
循环变压器和「层数更深的模型」有什么区别?
关键差别是参数是否共享。加深模型是加新的层、加新的权重,参数量随之上涨;循环变压器是让已有的层多执行几遍,权重不变。所以它的「表达能力」不是来自更多参数,而是来自同一批参数被迭代使用的次数——推理深度变成了一个可在运行时调整的旋钮,而不是训练时定死的结构。
为什么不让所有层都循环?
Inkling 2 Mini 的实测给出的答案是「中间层循环更好」。它把 24 层分成 4 块,比较了「中间 12 层循环」与「末尾 12 层循环」两种方案,结果中间方案在 28 项评测里赢了 27 项。一个合理的解释是:首块负责把输入编码成可迭代的表示,末块负责把表示解码成输出,中间才是真正「反复想」的地方——把编码层或解码层重复算,收益低。这条结论目前只有单一模型族的证据,不宜当成通则。
循环多了会不会想歪或者退化?
Inkling 2 Mini 的研究版(支持 1–5 次循环训练)给出的实测是:超过 3 次后性能大致持平,但跑到 10 次也没有明显退化;在纯串行推理任务(N-Hop Lookup)上,改善可持续到 10 次循环。也就是说循环次数不是「越多越好」,而是一条先上升再走平的曲线。
它和长上下文是替代关系吗?
不是,两者解决的不是同一个问题。长上下文解决「一次能看到多少材料」,循环深度解决「同一批材料能反推多深」。一个模型可以同时具备两者:Inkling 2 Mini 在 OpenRouter 上挂牌 1,048,576 上下文,同时中间 12 层跑三遍。真正的取舍在成本和延迟——多一次循环就多一次前向计算,而长上下文主要贵在 KV 缓存。
普通开发者现在能用上吗?
能,但只有一条路:用已经开源循环模型。Inkling 2 Mini 权重约 20GB,32GB 内存以上的 Mac 可以通过 Ollama 跑,也可以在 OpenRouter 上按 $0.075 / $0.30 每百万 token(输入/输出)调用。自己从零训一个循环变压器不在个人开发者范围内——需要的不是算力,而是循环结构 + 门控初始化 + 4-bit 原生训练这一整套工程细节。
相关工具
Claude Code vs Codex CLI:终端 AI Agent 双雄对比
Claude Code vs Codex CLI 2026 选型对比:Anthropic 与 OpenAI 两大官方终端 Agent 的模型、长任务、MCP 生态、Windows 支持、订阅打包价格和国内可用性全方位对比,帮你判断该用哪个终端 AI Agent,以及能不能两个一起用。
Codex CLI vs Crush:OpenAI 官方 vs 多模型 TUI(2026 实测选型)
Codex CLI vs Crush 怎么选:OpenAI 官方终端 Agent(GPT-5.6 + Windows 原生沙箱),对上开源 TUI(多模型切换 + LSP)。按模型、平台、价格、国内可用性对比。
Codex CLI vs Gemini CLI:两家大厂终端 Agent 怎么选?(2026 选型)
OpenAI Codex CLI 与 Google Gemini CLI 的正面比较:一句话结论 + 决策树 + 价格 + 国内可用性。已有 ChatGPT 账号选 Codex,想零成本起步选 Gemini CLI。
OpenRouter vs LiteLLM:LLM API 网关怎么选?SaaS 聚合 vs 开源自托管
OpenRouter vs LiteLLM 2026 选型对比:从模型数量、自托管能力、fallback 策略、虚拟 Key、国内延迟、成本结构和适合人群判断,帮你决定用 SaaS 聚合 OpenRouter 还是用开源自托管 LiteLLM 做 LLM 网关。
OpenRouter vs One API:托管模型路由与自建网关怎么选(2026)
OpenRouter 是托管的模型路由服务,One API 是自建的 API 分发网关。一句话结论 + 决策树 + 成本对比:要零运维接入几百个模型选前者,要数据自控与团队分发选后者。