SPU湿实验预测基准发布：算力翻5倍仍难贴近实测排序

AI for Science正从“能查文献、会用软件”走向更难的一步：提前预测真实湿实验结果。UniPat AI牵头推出的Science Prediction Universe（简称SPU），把一组实验条件交给模型，让它在看不到答案的情况下自行研究、判断并交卷，最后再拿实测结果对一对。题目覆盖同一个反应换几种条件哪种产物更多、一批抗体变体哪个表达量更高等真实科研问题，答案先藏好，等模型提交各比较组从低到高的预测排序，再统一评分。

一块H20连跑八小时，模型自己查文献选算法

SPU给模型设定的工作方式并不轻松。具体预测过程中，模型每次运行八小时，配备8核CPU、16 GiB内存和一块H20，同时允许联网检索并安装科研软件。它需要在这段时间里自行搜集证据、选择计算方法，判断什么值得算，最后提交各比较组从低到高的预测排序。

这意味着评测考的不只是“答题”，而是长程任务执行和科学工具使用能力。模型要在有限算力和时间内完成检索、分析、计算与排序，自己决定研究路径。相比传统刷题型基准，SPU更接近把AI放进一个压缩后的自主科研现场：目标明确，过程开放，交卷方式统一。

116个任务4207场湿实验，答案锁进断网容器

SPU共包含116个任务、4207个湿实验，覆盖化学、材料科学、生物和医学，涉及32个子领域。基准顾问与湿实验合作成员来自斯坦福、康奈尔、哈佛等高校，以及业内前沿科研机构和生物技术公司。

任务来源分为两部分：

• 100个公开任务取自85篇近期发布的论文，领域专家从研究中整理候选项、材料、条件与测量方式，保留完整的定量结果作为评分依据。
• 16个私有任务来自四组未发表的合作湿实验，涉及VHH纳米抗体、反应条件、电解液和Magrolimab变体。

公开研究提供了跨学科任务来源，但实测结果对模型隐藏；未发表实验则增加了独立于公开论文答案的检验。这在一定程度上可以避免模型提前见过题目。为了防止记忆污染，评分过程全程在独立、断网的容器中进行，禁止AI检索原始研究结果，还会自动扫描工具输出，识别源论文DOI、标题等标识符。

简单题全被剔掉，只留难啃的硬骨头

SPU的题目筛选也刻意避开了“送分题”。专家优先选择测量完整、条件清楚的研究，那些沿着单一趋势就能排序的简单问题会被直接剔除，数值过于接近的问题也会被视作参考意义不大。

最终留下来的题目，都会更难也更有区分度。换句话说，基准并不满足于让模型做“看起来像科研”的排序，而是要求它从已有知识中挖掘相关机制，理解实验目标，并对真实实验结果作出有区分度的判断。对于湿实验预测而言，这种能力有实际价值：它可以帮助研究人员筛选值得进一步探索的研究方向。

4000份随机排序压阵，蒙对不算本事

评分环节，系统会用Spearman相关系数对照预测与实测排序，系数越接近1，排序就越贴近实验结果。

SPU还关注到一个很多基准测试没有考虑的细节：模型得分会不会是运气使然，万一是瞎猫碰到死耗子。为此，它会额外为每道题生成4000份随机排序，把第95百分位作为随机水平阈值，检查模型提交是否明显超过这一参照。不同任务也都有相应的参照依据。

这套设计把“预测得准”与“不是蒙对”分开审视。对于湿实验预测这种答案隐藏在复杂实验条件下的任务，随机水平阈值让评分更严谨，也让模型很难靠碰运气拿到好看分数。

顶配模型也犯难，算力翻五倍仍难交卷

结果出乎不少人意料。即使强如Opus 5.5、GPT-6 Astra，数据上距离真正能实现预测还都很遥远。各配置在全部已评分任务上的平均得分，并没有因为模型名气或资源投入而变得好看。这也让“推理拉满、算力翻5倍也白搭”不再只是夸张说法：在SPU这套强调自主研究过程与湿实验结果预测的评测里，单纯堆推理和算力并没有换来质变。

SPU的“严”体现在多个层面：任务来自真实论文和未发表实验，答案对模型隐藏；评分在断网容器中完成，防止检索原始结果；评分还设置随机水平阈值，排除运气因素。它既有利于衡量当前AI的湿实验预测能力，也为后续研究团队借助统一指标持续改进实验指明了方向。从前那些看不见摸不着的科研能力，如今被SPU变成了可以统一评估、持续研究的数值。只是从目前结果看，AI要在湿实验预测上交出一份真正可靠的答卷，还有很长的路要走。