OpenAI 发布 MedChemBench:99 道药物化学题,GPT-6.2 Astra 拿 84.5%,但「选化合物」只有一半分
OpenAI 发布 MedChemBench:99 道题、117 篇论文、761 个分子结构,考把分子结构连到实验证据的推理。GPT-6.2 Astra 拿 84.5%,结构重建 95.4%,但选化合物与性质预测只有约一半分。
2026-11-22 · OpenAI 官方发布页(2026-11-20,一手,含论文链接与逐项分数)
发布 2026-11-22核实 2026-11-22要点
- 2026-11-20,OpenAI 发布 MedChemBench,用来评估模型在药物化学研究推理上的能力:把分子结构与实验证据连起来,解释结果、比较化合物、预测性质。
- 规模:99 道题,来自 117 篇论文与专利,涉及 761 个不同的分子结构。
- 四个评分维度:分子结构重建(原子连接与立体化学是否正确)、科学推理(结论是否有给出的证据支撑)、排序与选择(化合物排序是否符合要求)、性质预测(与原始材料报告的数值与类别是否一致)。
- 同一 xhigh 推理档下的总分:GPT-6.2 Astra 84.5% > GPT-6 Astra 83.3% > GPT-6.1 Sol 82.0% > GPT-6.1 Terra 75.1% > GPT-5.6 Sol 58.2%。
- 分数是偏科的:GPT-6 Astra 在结构重建上拿 95.4%,但在化合物选择与数值性质预测上只有约一半。
- 一个可读的失败案例:一道要求组装含 18 原子环分子的题,xhigh 档下 GPT-6 Astra 10/10 全部正确;GPT-5.6 Sol 10/10 全部失败(生成了 15 原子环),GPT-5.6 Luna 10/10 全部失败(把分子拆成两块互不相连的片段)。
- 官方自承三条局限:不能证明模型能发现新药、无法排除训练数据污染、单次尝试且无工具无反馈。
这份基准到底在测什么
大部分化学评测是「知识问答」:这个反应叫什么、这个基团有什么性质。MedChemBench 换了问法——给你一个研究项目在某个时间点的全部上下文,让你接着往下做判断。
每道题提供的信息大致是:生物靶点、研究目标、迄今研究过的化合物、选定的实验结果。要求模型据此完成四类动作:
| 维度 | 具体考什么 | 判分方式 |
|---|---|---|
| 结构重建 | 从给定的图形与基团描述拼出正确的分子(原子连接、立体化学) | 与正确答案比对,对错分明 |
| 科学推理 | 解释结论是否有给出的证据支撑(例如「为什么选 A 不选 B」) | 按证据引用与推理链质量给分 |
| 排序与选择 | 化合物排序与选择是否符合题目给定的要求 | 与要求比对,允许部分分 |
| 性质预测 | 预测的数值或类别是否与原始材料一致(含实测值与计算值) | 按与报告值的接近程度给部分分 |
这个设计的价值在于它不给你「标准答案文本」。后两个维度的输出是开放表述,只能按「离原始报告多远」打分——这也是为什么总分要写成「可用分数占比」而不是「正确率」。
84.5% 是四个维度平均出来的假象
先看总分表(统一 xhigh 档):
| 模型 | 总分 |
|---|---|
| GPT-6.2 Astra | 84.5% |
| GPT-6 Astra | 83.3% |
| GPT-6.1 Sol | 82.0% |
| GPT-6.1 Terra | 75.1% |
| GPT-5.6 Sol | 58.2% |
看起来是「代际稳步提升」。但拆到维度上,形状完全变了:
- 结构重建:GPT-6 Astra 在 xhigh 档 95.4%——读图、拼结构这件事基本解决了。
- 化合物选择 + 数值性质预测:仅约一半分数。
也就是说,模型已经能做「把图变成结构」和「把证据讲成故事」,做不好「在多个候选里挑一个」和「把一个数报准」。 这两件事恰好是药物化学里最贵的部分:前者决定要不要花几百万美元往下推,后者决定你能不能信它给的预测。
两个值得逐字读的案例
案例一:18 原子环。
题目要求从中心结构和两个连接基团组装分子,同时保留一个 18 原子环。同一道题,十次回答:
| 模型 | 结果 | 错法 |
|---|---|---|
| GPT-6 Astra(xhigh) | 10/10 正确 | — |
| GPT-5.6 Sol | 10/10 失败 | 生成 15 原子环 |
| GPT-5.6 Luna | 10/10 失败 | 分子被拆成两块不连通的片段 |
这类错误不是「算错了」,是把被分析的分子身份改掉了。一个环少三个原子,性质完全不同;拆成两块的分子在化学上根本不成立。官方称之为「药物化学推理的基础性错误」。
案例二:PRMT5 抑制剂的三角权衡。
题目给三个相关化合物,要求同时预测:细胞内 PRMT5 抑制强度、跨细胞屏障的能力、被肝酶降解的速度。隐藏起来的实测结果显示存在权衡——化合物 23 在更低浓度下抑制 PRMT5,化合物 24 跨膜更好、降解更慢。
这道题考的不是「哪个更好」,而是能不能同时把三个方向都报准。评分时,题目里已经给出的测量值也必须被正确复现——这实际上是在测「有没有认真读题」。
为什么这份基准值得非药物领域的人看
把四个维度抽掉化学外衣,就是任何专业领域 Agent 都要过的四关:
- 还原:能不能把非结构化输入(图、表、截图)还原成精确的结构化对象;
- 解释:结论能不能追到给定证据,而不是靠记忆里的泛泛之谈;
- 取舍:在多个约束冲突时能不能做出一致的选择;
- 定量:报出来的数能不能对上原始记录。
这份基准给出的答案是:1 和 2 已经很强,3 和 4 仍然弱。 这个形状和本站在 Agent 结果核验 里记录的研究型 Agent 失败模式高度同构——「自评过宽」「擅自缩小范围」本质上都是取舍失败。
对做垂直领域 Agent 的团队,这条可以直接变成验收清单:别只测它「懂不懂」,要单独测它「选不选得对」和「数字报不报得准」。 后两项才是客户投诉的来源。
AI 之家 观点
这份基准最诚实的地方是它把自己的证明力写清楚了:三条局限——不能证明能发现新药、无法排除训练数据污染、单次尝试无工具无反馈——每一条都在削弱「84.5%」这个数字的分量。这种自我限定在当下的模型发布里不常见。
三点判断:
- 「结构重建 95.4%、选择只有一半」是一条很有用的分界线。它说明当前模型的多模态能力已经足以承担「读文献、抽结构、对齐实验数据」这类信息整理工作,但还不能承担决策工作。前者现在就能上岗,后者仍需人签字。
- 分数代际提升是真的,但幅度在收窄:6.2 Astra 84.5% vs 6 Astra 83.3%,只差 1.2 个百分点;而 5.6 Sol → 6.1 Sol 是 58.2% → 82.0%,差 24 个百分点。这一代的提升已经不在「能力有无」,而在「细节准确」——这通常意味着基准本身快被吃满了。
- 对内容站与工具站,最该抄的是它的题面结构:给上下文、不给标准答案、按与原始报告的接近度给部分分。本站做工具横评时长期受困于「评分无依据」,这种「只给材料、让被测者自己下结论、再与原报告对齐」的模式,比自造 rubric 更难被糊弄。
相关阅读
- Agent 结果核验:为什么 Agent 自称完成最危险
- GPT-6.2 Astra / Sol 发布:Sol 接棒、Astra 涨价的真实账
- 私有评测集:为什么公开榜单测不出你的真实水平
- Terminal-Bench:终端 Agent 基准怎么读
来源
常见问题
84.5% 这个分数算高吗?
要拆开看。同一份基准里,GPT-6.2 Astra 在「重建分子结构」这一项拿到 95.4%,几乎满分;但在「选哪个化合物继续推进」和「预测数值性质」上只有约一半分。也就是说它很会读图、很会复现别人给出的结构,但在需要做取舍判断的地方还差一截。整份基准的总分是把四个维度加权成「可用分数占比」,所以 84.5% 不代表它已经能做药物化学决策。
它和普通的化学题库有什么区别?
多数化学题库考的是知识点。MedChemBench 给的是「研究项目某一节点的上下文」——靶点是什么、研究目标是什么、目前研究了哪些化合物、选定的实验结果有哪些——要求模型据此做推理。四个维度分别是结构重建、证据解释、排序与选择、性质预测,其中后两项没有唯一表述,只能按与原始材料报告值的接近程度给部分分。
会不会是训练数据污染?
官方自己把这条写在局限里:无法排除模型此前接触过这些已发表的论文与专利。这是所有基于历史文献的基准的共同问题,只能靠持续补充未公开材料缓解。本文把这句原样保留,不据此加分也不据此否定。
能说明它会发现新药吗?
不能,官方也明确说了不能。局限里三条写得很清楚:结果不能证明模型能发现新药或改善实验室决策;每次回答都是单次尝试、无工具、无反馈、无新实验;评估的是「基于历史证据的推理」,不是真实世界的药物发现。这条边界必须和分数一起读。
对不是做药的人有用吗?
有。这份基准测的四件事——把图形还原成结构、判断证据是否支撑结论、在多约束下做取舍、复现报告里的数值——正好是任何「专业领域 Agent」都要过的四关。它给出的结论是:模型在「还原」和「解释」上已经很强,在「取舍」和「定量预测」上仍然弱。这个形状在化学之外大概率也成立。