跳到主内容

Inkling 2 Mini 开源:24 层里让中间 12 层跑三遍,26.4B 模型塞进 32GB 笔记本

Inkling 2 Mini 开源:循环变压器 + MoE,26.4B 参数每 token 只激活 5.4B,靠中间 12 层跑三遍换推理深度,DeepSWE v1.1 拿 48.2%,20GB 权重能在 32GB Mac 上本地跑。

2026-11-22 · Thinking Machines 官方发布页(2026-11-20,一手) / OpenRouter 模型目录实取 / The Decoder 交叉核对

发布 2026-11-22核实 2026-11-22

要点

  • 2026-11-20,Thinking Machines 开源 Inkling 2 Mini,架构是循环变压器(looped transformer)+ MoE:24 层分 4 块,中间两块(12 层)各跑 3 遍,首末块各跑 1 遍,每个 token 实际经历 48 次层运算。
  • 参数账:总参数 26.4B,每 token 激活 3.4B、含循环的权重激活量约 5.4B;训练初期 384 专家选 8,中期每层专家剪到 128(剪掉三分之二)。
  • 精度策略少见:大部分权重直接以 4-bit NVFP4 训练并原生部署,只有最后 4 层用 MXFP8——部署精度等于训练精度,没有量化转换损失。
  • 官方成绩:DeepSWE v1.1 48.2%、SWE-bench Pro v2 (Hard) 77.9%、SWE-bench Verified 79.2%、Terminal-Bench v2.1 71.6%、Vals Index v2.2 46.5%、BrowseComp 79.0%、MMMU Pro 74.9%。
  • 权重约 20GB:32GB 内存以上的 Mac 可通过 Ollama 跑,NVIDIA DGX Spark 可原生 NVFP4 高效运行;另有 GGUF 量化(Unsloth、llama.cpp)与 SGLang / vLLM 支持。
  • 2026-11-21 上架 OpenRouter(本次实取):thinkingmachines/inkling-2-mini,上下文 1,048,576,$0.075 / $0.30 每百万 token 输入/输出——同价位里属于极便宜的一档。
  • 同批开源了一个可变循环研究版(TML-d24-varloop-research,训练支持 1–5 次循环),专门用来研究「循环深度会不会影响可监控性」。
  • 官方未公布总上下文规格(评测用到 256K–512K),未写明许可证名称,价格也未在发布页给出——三处缺口都在下文标注。

把「想久一点」做进前向计算

大模型过去两年提升推理能力的主流做法有三条:堆参数、加长思维链、扩上下文。Inkling 2 Mini 走的是第四条——在同一批权重上多算几遍。

结构上讲得很细,直接照官方拆:

项做法
分块24 层 → 4 块 × 6 层
循环中间两块(块 2、块 3,共 12 层)各跑 3 遍;首块(prelude)与末块各 1 遍
每 token 层运算48 次(24 层 × 平均 2 次)
跨循环传递块 2、3 在三次循环中共享权重;第 2、3 遍会读取上一遍留下的 "message",通过学习门控与 prelude 输出合并
稳定性技巧门控初始把 message 完全屏蔽(等价于非循环模型),训练中逐步放大增益
其他使用 attention residuals(注意力残差,引用 Kimi Team 2026 的工作)

有两个设计选择值得单独记:

  1. 为什么循环中间 12 层,而不是最后 12 层? 官方说在 28 项评测里比过,中间 12 层循环在 27 项上更好。这不是「随便挑的」。
  2. 门控从「全屏蔽」起步。如果一上来就让循环生效,训练初期的随机 message 会直接污染表示;先让它等价于普通模型,再慢慢放开,属于典型的「先注入结构、再注入信息」的稳定化手法。

4-bit 原生训练,这条比循环更少见

官方说得很明确:大部分权重从预训练到 RL 全程用 4-bit NVFP4,依赖专用 kernel 与 NVIDIA GB300 硬件加速;只有最后 4 层留 8-bit MXFP8。部署时的精度配置与训练完全一致。

这条的工程含义比「省显存」更大:

  • 没有量化转换,就没有「训练时 FP16 / 部署时 INT4,行为偏移」这一类经典事故;
  • 20GB 的权重体积让 32GB Mac 本地跑成为现实,官方演示用的是 M5 Pro / 48GB 的 MacBook Pro,飞行模式下离线运行;
  • 代价是强绑硬件:NVFP4 的高效路径依赖 GB300 一类加速,其他平台要靠 GGUF 量化兜底,性能表现不能照搬官方数字。

成绩单与它自己的短板

官方给的榜单很长,挑对本站读者最相关的几行:

评测成绩该怎么读
DeepSWE v1.148.2%官方称在总参数 <100B 的开源模型里领先
SWE-bench Verified79.2%接近但未超过同量级最强开源
Terminal-Bench v2.171.6%终端长任务可用水平
Vals Index v2.246.5%官方口径同尺寸开源领先
MMMU Pro74.9%视觉理解,官方称第二
HLE-Diamond15.2%难题推理,落后大模型一档
MultiChallenge / ComplexConstraints v1.150.0% / 33.4% 明显短板,落后 Qwen3.8-27B

第三方那边,Artificial Analysis 给的 Intelligence Index 是 20,与 Qwen3.8 27B(xhigh)打平,但成本约为其六分之一、速度约四倍——这条比任何单项榜单都更能说明它的定位:不是最强,是性价比曲线上的那个点。

官方自己把局限写得很老实,值得原样记住:循环提升的是多跳推理,不增加事实存储。闭卷事实问答(SimpleQA Verified、WorldVQA)几乎不受循环次数影响;知识不够就靠搜索和工具补。「参数小 + 会想」不等于「知道得多」。

那个 1M 上下文的数字,来自哪里

三处口径要分清,否则很容易被聚合站带偏:

来源说法
官方发布页未写总上下文规格;评测用到 MRCR v2 8-needle 256K–512K、GraphWalks BFS 256K
The Decoder 报道「具备 100 万 token 上下文窗口」
OpenRouter 模型目录(11-21 实取)挂牌 1,048,576

本站的处理是:以挂牌值为准记录 1,048,576,同时标注官方页未写。这不是吹毛求疵——上下文规格直接影响你能不能拿它当长文档工具,而官方页缺失这一项,说明它不想让这个数字成为卖点。

研究版更有意思:循环次数可以调

同批开源的 TML-d24-varloop-research 才是给研究者的部分:训练支持 1–5 次循环,RL 只在 3 次循环下做完。官方公布的几条发现都很反直觉:

  • 无 CoT 的「时间跨度」:1 次循环约 16 秒的等效推理,3 次约 37 秒,超过 3 次基本持平;即使用 10 次循环,性能也没有明显退化。
  • N-Hop Lookup(纯串行推理):链越长需要的循环越多,改善可持续到 10 次——这是循环真正擅长的事。
  • CoT 压缩:5 次循环的思维链不到 1 次的一半(平均 1,661 vs 3,703 token),但可读性没降(句长、词类分布不变),差别在于更直接、回头更少——不确定词(wait / actually / hmm)从 9.7 降到 3.6。
  • 可监控性:在 LinuxArena 上用弱 / 强两种监控器测,没有观察到循环次数增加导致推理可监控性下降。这个结论只在该规模下成立。

对做 Agent 的人,最有用的可能是「CoT 变短但可读性不变」这一条:省 token 和丢理解力,不必然同时发生。 对比本站 上下文压缩 里讨论的「压缩必然丢信息」——这里的压缩发生在模型内部,不是事后删历史,所以丢的是重复推导而不是事实。

AI 之家 观点

这个模型最值得记的不是参数,是它把**「推理深度」从参数规模里解耦出来**这件事做出了可复现的证据。

三点判断:

  1. 循环深度的性价比是真的,但天花板也很清楚。官方自己的数据说得很直白:多跳推理受益,事实问答不受益。这意味着它适合工具调用密集、需要串联推理的场景(编码、检索、终端任务),不适合当知识库用。
  2. 对个人开发者,这是今年少见的一条「本地可跑 + 价格极低 + 编码能力够用」的组合。20GB 权重、32GB Mac、OpenRouter 上 $0.075/$0.30——想在本机跑一个能干活的编码 Agent,这是当下门槛最低的选项之一。前提是接受它在多轮对话与长指令约束上的短板。
  3. 4-bit 原生训练比循环更值得关注。当「训练精度 = 部署精度」成为常规,模型分发的最小体积会继续下探,本地部署的经济账会再变一次。这条趋势对做端侧产品的人影响更直接。

相关阅读

来源

常见问题

「循环变压器」和普通模型到底差在哪?

普通模型每个 token 把每一层走一遍就往下走。循环变压器把层分块,让中间某些块重复执行多次:Inkling 2 Mini 有 24 层、分 4 块,中间两块(共 12 层)各跑 3 遍,首块和末块各跑 1 遍,于是每个 token 实际经历 48 次层运算。好处是推理深度可以靠「多跑几遍同样的权重」换,而不是靠堆参数——同一份权重被反复使用。

26.4B 参数为什么只需要 20GB?

两个原因叠加。一是 MoE:26.4B 是总参数,每 token 实际激活约 5.4B(官方口径含循环贡献),大部分专家不参与计算。二是精度:官方说大部分权重直接用 4-bit 的 NVFP4 训练并原生部署,只有最后 4 层是 8-bit MXFP8,所以权重体积比 FP16 小得多,且部署精度与训练精度一致、没有量化转换损失。

本地跑得动,是不是可以替代云端旗舰模型?

不行。官方自己列了三条局限:多轮对话与多约束指令偏弱(MultiChallenge 50.0%、ComplexConstraints v1.1 33.4%,都落后同尺寸的 Qwen3.8-27B);推理密集型基准落后更大模型(CritPt v2、HLE-Diamond);循环提升的是推理,不增加事实存储,知识存量仍受 26.4B 规模限制。它适合当「本地能跑、便宜、够用的编码/工具调用助手」,不是旗舰替代品。

许可证是什么?

⚠️ 待核实。The Decoder 报道为 Apache 2.0,但官方发布页正文未写明许可证名称;本次 Hugging Face 全站不可达,无法从模型卡核对。以 Apache 2.0 做商业部署前请自行确认模型卡。

它和「上下文窗口越大越好」这条路线冲突吗?

是两条不同的路。长上下文是把更多材料同时放进视野,循环深度是把同一批权重多算几遍。Inkling 2 Mini 自己也带长上下文能力,但它真正的差异点是把「想得更久」做进前向计算里——官方研究版给出的数据是:5 次循环时思维链 token 不到 1 次循环的一半(平均 1,661 vs 3,703),而可读性没降。

相关对比