跳到主内容
架构循环变压器looped transformer循环深度Inkling 2 MiniMoE推理架构

循环变压器(Looped Transformer)

循环变压器是把模型的层分块,让中间某些块对每个 token 重复执行多次的架构:同一份权重被反复使用,用「多算几遍」换推理深度,而不是靠堆参数。Thinking Machines 的 Inkling 2 Mini 是 2026 年第一个把这条路做到可开源、可本地跑的样本——24 层里中间 12 层各跑三遍,26.4B 参数只激活 5.4B。

发布 2026-11-22更新 2026-11-22核实 2026-11-22

什么是循环变压器

循环变压器(Looped Transformer)是一种把层分块、让中间某些块重复执行的 Transformer 架构。

普通 Transformer 里,每个 token 从第 1 层走到第 N 层,每层只用一次;要「想得更深」,只能加层、加参数。循环变压器改了一件事:层不动,让其中一部分层对同一个 token 执行多遍。

这个改动的意义可以用一句话概括:推理深度不再由参数量决定,而是由「同一批权重被用几遍」决定。

两者的差别值得列清楚,因为很容易被混为一谈:

加深模型(更多层)循环变压器
提升方式加层、加权重已有层多跑几遍
参数量随深度线性上涨不变
推理深度训练时定死可在运行时调整(研究版可配 1–5 次)
主要成本显存 + 每 token 计算量每 token 计算量(乘循环次数)
本质用参数换能力用计算换能力

一个可对照的实例:Inkling 2 Mini

2026-11-20,Thinking Machines 开源的 Inkling 2 Mini 是目前公开资料最完整的循环变压器样本。它的结构拆解值得当作教科书看:

项做法
总层数24 层(存储层面)
分块4 块 × 6 层
循环方案中间两块(共 12 层)各执行 3 遍,首块(prelude)与末块各 1 遍
每 token 层运算48 次(24 层 × 平均 2 次)
参数账总 26.4B;每 token 激活 3.4B;含循环的权重激活量 5.4B
跨循环传递中间两块在三次循环中共享权重;第 2、3 遍读取上一遍留下的 "message",通过学习门控与 prelude 输出合并
稳定性技巧门控初始把 message 完全屏蔽(等价于非循环模型),训练中逐步放大增益

最后两行是最容易被忽略、但对能不能训起来最关键的:

  1. 循环不是「重复算一遍就完事」,中间需要一条跨循环的信息通道(这里叫 message),否则三遍循环等价于把同一层堆三份、只是在放大同一件事。
  2. 门控从「全屏蔽」起步。训练初期随机初始化的 message 会污染表示,先让循环结构等价于普通模型、再逐步放开,是典型的「先注入结构、再注入信息」。

为什么循环深度值得单独当作一个概念

因为它把「模型能力」这个笼统的说法拆成了两个可分辨的维度:

维度决定什么靠什么提升
知识存量知道多少事实参数规模、训练数据
推理深度能用已知事实推多远循环次数、思维链长度

Inkling 2 Mini 官方把这条边界写得很直白:循环提升的是多跳推理,不增加事实存储。闭卷事实问答(SimpleQA Verified、WorldVQA)几乎不受循环次数影响;受惠最大的是多跳检索(MRCR)、数学与科学(HMMT、GPQA Diamond、HLE)以及长程 agent 任务(SWE-bench Pro、BrowseComp)。

这条对选型有直接含义:如果你的任务卡在「模型不知道」,加循环没用;卡在「模型知道但串不起来」,加循环才有用。

循环带来的一个副作用:思维链变短了

Inkling 2 Mini 的研究版(TML-d24-varloop-research)放出了一组反直觉的数据:

循环次数思维链平均 token可读性不确定词(wait / actually / hmm)占比
1 次3,703基线9.7
5 次1,661未见下降(句长、词类分布不变)3.6

翻成人话:在模型内部多想几遍,可以让它写在纸上的推理变短、而且更笃定。

这和「思维链越长越强」的流行叙事正好相反。区别在于压缩发生的位置——这里压缩的是模型内部的重复推导(因为同一批层已经迭代过,不必在文本里再演一遍),而 上下文压缩 压缩的是对话历史。前者丢的是重复,后者丢的是证据。同样是「变短」,风险完全不同。

边界与还没答案的问题

必须说清四件事,否则这个概念会被用歪:

  1. 循环次数有上限,且不同任务上限不同。官方数据是:无 CoT 的等效推理时间在 3 次循环后基本持平;但纯串行推理(N-Hop Lookup)的改善能持续到 10 次。没有一个「最优循环数」可以通用。
  2. 「中间层循环优于末层循环」只有单族证据。28 项评测里 27 项胜出,结论很强,但只有一个模型族、一个规模。别当成架构通例。
  3. 可监控性问题尚未闭环。官方在 LinuxArena 上测了「循环次数增加会不会让推理更难被监控」,结论是在该规模下没有观察到显著下降。注意限定词:该规模下。
  4. 训练成本与工程复杂度都被低估。循环结构不是改几行配置,它牵动门控初始化、跨循环通信、以及(Inkling 2 Mini 的做法)4-bit 原生训练与专用 kernel。个人开发者只能消费成品,不能自建。

常见误区

  • 「循环变压器就是 RNN 回来了」——不是。RNN 在时间步上共享权重、串行处理序列;循环变压器在深度方向重复层,序列内仍是并行的 Transformer 计算。共同点只是「共享权重 + 迭代」。
  • 「循环次数越多越聪明」——实测是先升后平,串行任务上能到 10 次,一般任务 3 次就够。
  • 「参数少了就便宜」——单 token 成本确实低,但循环会成倍放大计算量。算账要看「每任务成本」,不是「每百万 token 单价」。
  • 「它能替代大模型」——不能。它解决的是「想得深」,不解决「知道得多」。

相关阅读

来源

常见问题

循环变压器和「层数更深的模型」有什么区别?

关键差别是参数是否共享。加深模型是加新的层、加新的权重,参数量随之上涨;循环变压器是让已有的层多执行几遍,权重不变。所以它的「表达能力」不是来自更多参数,而是来自同一批参数被迭代使用的次数——推理深度变成了一个可在运行时调整的旋钮,而不是训练时定死的结构。

为什么不让所有层都循环?

Inkling 2 Mini 的实测给出的答案是「中间层循环更好」。它把 24 层分成 4 块,比较了「中间 12 层循环」与「末尾 12 层循环」两种方案,结果中间方案在 28 项评测里赢了 27 项。一个合理的解释是:首块负责把输入编码成可迭代的表示,末块负责把表示解码成输出,中间才是真正「反复想」的地方——把编码层或解码层重复算,收益低。这条结论目前只有单一模型族的证据,不宜当成通则。

循环多了会不会想歪或者退化?

Inkling 2 Mini 的研究版(支持 1–5 次循环训练)给出的实测是:超过 3 次后性能大致持平,但跑到 10 次也没有明显退化;在纯串行推理任务(N-Hop Lookup)上,改善可持续到 10 次循环。也就是说循环次数不是「越多越好」,而是一条先上升再走平的曲线。

它和长上下文是替代关系吗?

不是,两者解决的不是同一个问题。长上下文解决「一次能看到多少材料」,循环深度解决「同一批材料能反推多深」。一个模型可以同时具备两者:Inkling 2 Mini 在 OpenRouter 上挂牌 1,048,576 上下文,同时中间 12 层跑三遍。真正的取舍在成本和延迟——多一次循环就多一次前向计算,而长上下文主要贵在 KV 缓存。

普通开发者现在能用上吗?

能,但只有一条路:用已经开源循环模型。Inkling 2 Mini 权重约 20GB,32GB 内存以上的 Mac 可以通过 Ollama 跑,也可以在 OpenRouter 上按 $0.075 / $0.30 每百万 token(输入/输出)调用。自己从零训一个循环变压器不在个人开发者范围内——需要的不是算力,而是循环结构 + 门控初始化 + 4-bit 原生训练这一整套工程细节。

相关对比