【量子位 2025年12月15日讯】在大模型行业为“参数规模”“算力竞赛”争论不休时，OpenAI悄然抛出颠覆性方案——12月14日，该公司在Hugging Face开源基于Circuit Sparsity（电路稀疏性）技术的新模型，仅0.4B参数却有99.9%权重为零。这款被命名为“circuit-sparsity”的模型，通过“极致稀疏+功能解耦”让AI决策过程像电路图般可拆解，不仅破解了传统Transformer的“黑箱难题”，更被业内解读为“MoE（混合专家模型）架构的终结者”，为AI可解释性与效率平衡提供全新路径。
颠覆性设计：砍断99.9%无效连接，AI决策变“电路图”
传统大模型的“黑箱困境”，源于内部神经元密密麻麻的连接——以Transformer为例，每个神经元与下一层所有神经元相连，信息传递如同乱线团，人类无法追踪“AI为何得出某结论”。而OpenAI的Circuit Sparsity模型反其道而行之，通过三大核心设计，让智能决策过程从“不可见”变为“透明可追溯”。
1. 极端稀疏化：只留千分之一有效通路
该模型基于GPT-2风格Transformer架构训练，但通过严格约束权重的L0范数（非零权重数量），直接“砍断”99.9%的无效连接：
-
任务驱动的精准通路：仅保留完成特定任务必需的连接，例如处理“Python引号闭合”任务时，仅激活2个MLP神经元和1个注意力头，形成包含“引号检测器”“类型分类器”的最小电路，如同电路图中各司其职的电阻、电容；
-
非零权重即“导线”：留存的0.1%非零权重连接，就像电路中的导线，信息只能沿固定路径传递，每一步计算都可精准定位到具体神经元。实验显示，在预训练损失相同的前提下，该模型的任务专属电路规模比稠密模型小16倍，且删掉任一非零权重节点都会导致任务失败，证明这些连接的“必要性与充分性”。
2. 功能解耦：每个模块只干“一件事”
不同于传统模型“一个神经元承载多语义”的叠加问题，Circuit Sparsity模型通过“超大标称维度投影”，让每个特征实现“单义化、正交化”：
-
单语义特征设计：将模型投射到远超常规维度的空间（d_sparse ≫ d_model），迫使每个激活节点只对应一个明确功能——例如“特征A”仅负责识别双引号，“特征B”仅处理单引号，避免不同语义相互干扰；
-
无干扰协同：各功能模块通过固定通路协作，无需依赖复杂路由机制。现场演示中，模型处理代码生成任务时，“语法检测模块”“变量类型推断模块”“标点闭合模块”独立运行又有序联动，每一步输出都可对应到具体模块的计算结果。
3. 均值屏蔽剪枝：为任务定制“最小电路”
为进一步提升可解释性，模型还引入“均值屏蔽剪枝”技术：
-
动态拆解电路：针对不同任务，自动筛选出“最小必需电路”——例如分析文本情感时，仅激活与“情绪词识别”“语气判断”相关的节点，剔除无关连接；
-
可复现的决策链：每个任务的电路结构固定，相同输入会触发完全一致的通路，人类可通过追踪非零权重的激活顺序，还原AI从“输入”到“输出”的完整思考过程，甚至定位“决策失误的具体节点”。
直指MoE痛点：原生稀疏替代“粗糙拆分”，终结特征割裂
当前工业界主流的MoE模型，虽通过“拆分专家子网络”实现近似稀疏性（每次激活部分专家），但本质是为适配硬件稠密矩阵计算的“妥协方案”。OpenAI的Circuit Sparsity模型，恰恰击中了MoE的三大核心缺陷，被业内认为可能加速其“退场”。
1. 破解MoE的“特征流形割裂”
MoE通过门控网络将任务分配给不同专家，但这种“粗糙拆分”会导致严重问题：
-
专家知识冗余与同质化：不同专家可能学习到重复特征，且专家间信息协同依赖复杂的“负载均衡损失函数”，稳定性差；
-
功能边界模糊：无法精准拆解微观机制，例如某专家既处理“语法纠错”又负责“语义理解”，仍存在黑箱问题。
而Circuit Sparsity追求“原生稀疏性”，通过k稀疏激活函数（每次仅激活k个节点）和正交特征设计，从根源上避免这些问题：
-
统一特征空间：无需拆分专家，所有功能模块在同一空间协同，不存在人工划分的“专家边界”；
-
零干扰传递：正交特征确保不同功能模块互不干扰，无需路由技巧即可避免信息叠加，解决MoE的“多语义干扰”难题。正如AI研究者@byebyescaling所言：“MoE是硬件限制下的近似稀疏，而Circuit Sparsity是理论理想的原生稀疏，前者割裂特征，后者统一正交。”
2. 效率与可解释性双超越
在效率层面，MoE虽比全参数Transformer高效，但仍需维护多个专家子网络与路由系统；而Circuit Sparsity模型：
-
无路由开销：无需门控网络分配任务，直接通过固定通路处理，减少额外计算；
-
硬件适配潜力：极端稀疏的连接模式，未来可适配专为稀疏计算设计的芯片，进一步降低算力消耗。不过目前该模型仍存在“训练推理成本高”的短板——计算量是传统稠密模型的100-1000倍，暂未达到顶尖模型性能，OpenAI表示将通过技术优化逐步解决。
行业影响：可解释性突破+MoE替代争议，AI发展路径生变
这款开源模型的发布，不仅为AI可解释性提供“从0到1”的落地方案，更引发行业对“稀疏化路线”的重新思考，带来两大关键影响。
1. 打开AI“黑箱”：从“盲目信任”到“理性验证”
对于医疗、金融等对可靠性要求极高的领域，Circuit Sparsity模型的可解释性具有里程碑意义：
-
错误溯源：若模型给出错误诊断建议，医生可追踪到具体“特征识别模块”的失误（如误判某医学指标），而非面对“黑箱”无从下手；
-
合规审计：金融领域可通过追溯决策电路，证明AI信贷评估未引入偏见，满足监管对“算法透明”的要求。OpenAI在论文中指出，该模型未来计划扩展到更大规模，解锁更复杂的推理电路，例如数学证明、法律条文分析等场景。
2. MoE终局争议：原生稀疏是否会取代混合专家？
当前MoE因“效率与性能平衡”成为工业界主流（如GPT-4、Gemini部分版本采用），但Circuit Sparsity的出现，让“MoE是否已走到尽头”成为热议话题：
-
支持替代派：认为MoE的“专家拆分”本质是硬件限制下的权宜之计，而原生稀疏才是稀疏化的终极形态——正如@byebyescaling所言：“我们一直用专家隔离近似稀疏，只是为了适配稠密矩阵核，而Circuit Sparsity实现了理论理想的稀疏，MoE的历史使命可能结束”；
-
谨慎观望派：承认Circuit Sparsity的技术突破，但指出其当前“高算力成本”的短板——MoE在训练推理效率上已非常成熟，短期内仍是工业界首选。OpenAI也在文档中坦诚，该模型目前仅为可解释性探索的“早期一步”，需进一步优化训练机制以降低成本。
未来路径：两大方案攻克成本难题，开源生态待建
面对“算力成本高”的现状，OpenAI提出两种优化方向，推动Circuit Sparsity技术从“实验室”走向“产业化”：
-
方案一：从稠密模型提取稀疏电路：不从头训练稀疏模型，而是直接从现有稠密模型中“剥离”任务专属电路，复用成熟框架与参数，大幅降低训练成本；
-
方案二：优化原生训练机制：针对稀疏模型训练慢的问题，开发专用优化器与硬件适配方案，例如通过动态算力分配，避免稀疏计算中的“无效内存访问”，提升训练效率。
目前，该模型已在Hugging Face开源（openai/circuit-sparsity），开发者可免费下载探索。值得关注的是，这并非OpenAI首次拥抱开源——2025年8月，该公司曾发布GPT-OSS系列开放权重模型，此次Circuit Sparsity的开源，进一步巩固其“技术开放+生态共建”的战略转向。
正如AI可解释性领域专家所言：“过去我们要么牺牲效率换可解释性，要么放弃透明追性能，而Circuit Sparsity证明二者可以兼得。尽管当前还有成本难题，但它打开了一扇新门——未来的AI不仅要聪明，更要让人类‘看得懂、信得过’。”随着更多开发者加入优化，这场“稀疏电路革命”或许将彻底改变AI的发展轨迹。
