匿名研究员用AI扒出NeurIPS假开源黑幕:98篇论文挂空链接,顶会审稿机制引质疑

AI 资讯12小时前发布 dennis
0

【量子位 2026年2月5日讯】AI顶会学术诚信再遭挑战!一位匿名AI研究员近期通过自研的AI核查系统,对NeurIPS 2024收录的4035篇论文展开开源真实性核验,结果令人震惊:在明确标注“已开源”并提供GitHub链接的论文中,有98篇存在“假开源”问题——链接指向的代码仓库要么是“Code coming soon”的待建状态,要么是内容残缺的烂尾项目。此次核查不仅曝光了学术圈“画饼式开源”的乱象,更引发业内对顶会审稿机制、科研诚信底线的激烈讨论。

一、较真研究员怒扒假开源:AI系统一晚建成,4035篇论文筛出98个“空仓库”

这场针对NeurIPS假开源的“打假行动”,源于匿名研究员的亲身经历——多次怀着学习目的点击论文中的开源链接,却反复遭遇404页面或“代码即将上线”的占位提示,最终决定用技术手段揭露行业积弊。

1. 核查技术:AI自动化爬取+多源验证

研究员仅用一晚就开发出核查系统,融合三大核心技术实现高效核验:

  • PDF解析与链接提取:自动扫描NeurIPS 2024论文PDF全文,精准识别“GitHub”“开源地址”等关键词关联的链接,避免人工遗漏;

  • GitHub API实时核验:调用GitHub官方接口,批量检测链接对应的仓库状态,包括是否存在、代码文件数量、最后更新时间、星标数等关键信息;

  • OpenReview交叉验证:结合NeurIPS官方评审平台OpenReview的论文信息,确认作者在审稿阶段是否承诺开源,排除“误标开源”的特殊情况。

“系统会给每个仓库打标签——‘完整开源’(有可运行代码+文档)、‘部分开源’(仅核心代码片段)、‘假开源’(空仓库或占位符)。”研究员强调,尽管基于自动化逻辑存在少量误判可能,但98篇“假开源”论文均经过人工二次确认,仓库状态已持续一年多无更新,“Code coming soon”基本等同于“Code never coming”。

2. 核查结果:开源承诺兑现率不足七成

从统计数据来看,NeurIPS 2024论文的开源情况存在明显水分:

  • 真实开源率偏低:4035篇论文中,仅2404篇实现有效开源,占比约59.6%;

  • 未标注链接占比高:1533篇论文未提供任何开源链接,既未说明“不开源原因”,也未承诺后续上线,占比38%;

  • 假开源问题突出:98篇明确标注“已开源”的论文存在虚假承诺,占标注开源论文总数的约3.9%,涉及国内外多所高校及企业研究团队,部分知名机构也赫然在列。

更值得关注的是,这些“假开源”论文的仓库页面往往精心设计——有的放上台词模板、项目说明文档,甚至伪造“代码提交记录”,但核心的模型训练代码、数据处理脚本始终缺失,误导性极强。

二、假开源为何泛滥?顶会审稿机制成“推手”,多重现实因素加剧乱象

NeurIPS作为AI领域顶会,为何会出现如此大规模的假开源?背后既有审稿机制的漏洞,也有研究者面临的现实困境。

1. 顶会审稿:开源承诺成“潜规则加分项”,却无强制验证

2021年起,NeurIPS等顶会开始强制要求作者填写“可复现性检查表”(Reproducibility Checklist),2024年进一步升级要求——不仅需详细说明开源计划,还需解释“无法开源”的具体理由,而这些内容直接影响审稿打分。

在“开源=加分”的潜规则下,不少团队选择“先承诺再拖延”:

  • 占位符策略:提交论文时快速创建GitHub仓库,放上 README.md 写一句“代码即将发布”,即可在检查表中勾选“已开源”,提升录用概率;

  • 钻审核漏洞:顶会仅要求提交检查表,却不强制验证开源真实性,审稿人也因时间有限(平均每篇论文评审时间不足2小时),极少实际点击链接核查代码;

  • 事后拖延无代价:论文录用后,作者常以“代码整理中”“合规审批未通过”为由拖延开源,而顶会缺乏后续追责机制,假开源几乎没有风险。

“现在业内甚至有‘开源承诺模板’,作者复制粘贴就能用,审稿人根本分辨不出来。”一位不愿具名的NeurIPS审稿人坦言,除非涉及核心技术争议,否则很少会去验证开源内容。

2. 现实困境:合规审批、复现门槛成“甩锅理由”

除了刻意投机,部分假开源也与现实阻碍有关,但这些理由难以服众:

  • 工业界合规流程长:部分企业团队声称“代码需通过内部合规审批”,但从NeurIPS 2024截稿到核查时已超一年,远超常规企业合规周期(通常3-6个月);

  • 复现成本高怕质疑:少数论文依赖超大规模算力(如训练一次消耗数百块GPU)或内部私有数据,作者担心开源后他人无法复现,反而引发“成果造假”的质疑,索性选择“不开源装开源”;

  • 课题组变动导致烂尾:个别高校团队因“导师离职”“学生毕业”等原因,中断代码整理工作,但未在论文或仓库中更新说明,形成“无意的假开源”。

不过这些理由被业内驳斥:“合规审批可以提前说明,复现难可提供简化版代码或模拟数据,真正的问题是‘承诺时就没打算兑现’。”前Stability AI研究总监Tanishq Mathew Abraham此前就公开批评:“用‘客观困难’掩盖‘主观投机’,本质是对学术诚信的背叛。”

三、业内炸锅:从苦空仓库久矣到呼吁诚信底线

假开源名单曝光后,迅速在AI学术圈引发轩然大波,不同群体纷纷发声,既有对乱象的吐槽,也有对行业未来的反思。

1. 普通研究者:被假开源浪费时间,学习路径受阻

不少年轻研究者和学生是假开源的直接受害者。“看到一篇优秀的图像生成论文,标注开源后兴冲冲点进去,结果只有个空仓库,连数据预处理代码都没有。”一位AI方向博士生吐槽,为了复现成果,他曾花一周时间联系作者索要代码,却始终未获回应,“最后发现作者根本没打算开源,只是为了论文能中顶会”。

更有人直言,假开源破坏了学术交流的根基:“开源本是为了让成果被验证、被迭代,现在变成‘画饼工具’,新人想入门只能靠自己瞎猜,行业进步会越来越慢。”

2. 开源模范对比:卡帕西等学者成“正面教材”

在假开源争议发酵的同时,以Andrej Karpathy(卡帕西)为代表的“开源模范”被频繁提及——他们的论文一经发表,配套代码、训练日志、复现教程会同步上线,甚至附带保姆级视频讲解,让同行能快速跟进研究。

“同样是顶会论文,有的作者能把代码注释写得比论文还详细,有的却连个空仓库都懒得维护。”网友对比表示,科研诚信不该是“可选项”,而是研究者的基本素养。

3. 行业呼吁:建立“开源后验证”机制,严惩学术不端

针对此次假开源事件,业内提出多项改进建议:

  • 顶会增设“开源复核环节”:论文录用后、正式发表前,由专门团队核查开源真实性,未兑现承诺的取消录用资格;

  • 建立“开源黑名单”:对多次假开源的作者及机构进行标注,影响其后续投稿信誉;

  • 明确“不开源合理理由”:在检查表中细化“无法开源”的类别(如涉及商业机密、隐私数据),避免“被迫承诺开源”的无奈选择。

“‘没时间’‘审批慢’都不是违背承诺的借口。”匿名研究员在核查报告末尾强调,“菜不是原罪,但用学术道德换虚名,就是对整个行业的伤害。”

四、深层反思:AI时代科研诚信如何守护?

此次NeurIPS假开源事件,并非孤立个案,而是AI领域快速发展中科研诚信失衡的缩影。随着Agentic AI、大模型辅助写作等技术普及,学术不端的成本降低、隐蔽性增强,守护科研底线需要多方合力。

1. 顶会需打破“唯结果论”,完善评审体系

当前顶会过度关注“创新成果”,却对“可复现性”“开源真实性”缺乏有效约束。未来需从两方面优化:

  • 评审权重调整:将“开源可行性”“代码完整性”纳入审稿核心指标,而非仅作为“加分项”,对承诺开源但未落实的论文实施“一票否决”;

  • 引入自动化核查工具:像此次匿名研究员的系统一样,顶会可自建或引入第三方AI工具,在审稿阶段就对开源链接进行初步核验,减少人工疏漏。

2. 研究者需回归学术初心,拒绝“投机式科研”

对科研团队而言,开源不仅是“获取顶会门票”的手段,更是推动领域进步的责任:

  • 理性承诺开源:若代码涉及合规问题或复现门槛极高,应在论文中如实说明,而非用“占位符”欺骗审稿人和同行;

  • 重视开源质量:开源不仅要提供代码,还需配套清晰的文档(如环境配置、参数说明、测试数据),确保同行能顺利复现,避免“形式主义开源”。

3. 技术手段:AI既是“造假工具”,也能成“打假利器”

此次匿名研究员的实践证明,AI技术可成为维护学术诚信的重要力量:

  • 自动化核查普及化:未来可将类似系统集成到顶会投稿平台,实时提醒作者“开源链接无效”,从源头减少假开源;

  • 全链路追踪:结合区块链技术,对论文的开源承诺、代码更新记录进行存证,确保作者无法事后篡改仓库状态,提升造假成本。

目前,匿名研究员已公开部分核查数据(隐去具体机构和作者信息以避免过度攻击),并呼吁更多同行关注科研诚信问题。“AI领域发展太快,但根基不能歪。”他在报告中写道,“希望这次核查能给行业敲个警钟,让‘开源’回归它本来的意义——分享、协作、共同进步。”

随着讨论持续发酵,NeurIPS官方尚未作出公开回应,但已有多所高校表示将在内部科研规范中新增“开源真实性审查”条款。这场由假开源引发的学术诚信讨论,或许将成为AI领域重塑科研底线的重要转折点。

© 版权声明

相关文章