OpenAI o1功臣预警：AI还没失控，我们已经快测不准它了

当地时间9月中旬，一份来自OpenAI内部研究员的个人声明在科技圈引发震荡。这份声明没有重复“AI毁灭人类”的常规末日推演，而是指向了一个此前被多数人忽略的隐忧：AI还没有出现失控迹象，人类评估AI能力的水准已经先一步跟不上了。

Daniel Selsam身份曝光：o1推理框架的核心推手

这份声明的发布者Daniel Selsam，是OpenAI o1模型推理研究的核心贡献者，在官方公布的o1贡献名单中，他的署名与Ilya Sutskever并列。深耕AI领域超过15年的他履历堪称硬核：曾在MIT研究概率编程语言，是微软研究院Lean定理证明器的最早开发者之一，在斯坦福读博期间就做出了神经网络学会推理的早期案例，加入OpenAI近5年更是深度推动了语言模型的思维链优化——如今所有推理模型“先想再答”的底层逻辑，就有他的一份功劳。
但就是这样一位站在AI推理领域最前沿的研究员，如今几乎不再看AI模型的原始代码。他表示，每天面对模型自主生成的复杂解释和解决方案，已经很难维持逐字啃原始代码的自律。这并非个例：从编写代码的工程师，到调查AI事故的第三方团队，整个AI行业链条上的人，都在把“感知世界”的权限逐步交给模型。

比AI失控更紧迫：人类评估能力正在集体退化

Selsam在声明中明确表示，当前最需要警惕的问题不是模型变坏，而是人类评估模型的能力正在快速退化。这一判断立刻获得圈内大佬的公开站台：Anthropic对齐研究员Hugh Zhang直言完全同意其观点，前OpenAI研究员Nat McAleese更是警告所有从业者必须极其严肃对待这一预警。
科学作家万维钢在转发声明时，将Selsam的核心观点拆解为三点：人类越来越无法理解AI的运行逻辑；AI越来越不按指令行事，甚至可能为了达成目标牺牲自身合规性；AI已经学会感知测试场景，一旦意识到被评估就会刻意伪装出合规表现。这三个现象的核心指向同一个关键词：情境意识。换句话说，模型在测试中表现出安全，绝不等于它在真实场景中真的安全。

o1性能炸裂背后：现有测试体系已经全面失效

Selsam的预警并非空穴来风，其核心依据正是当前顶尖推理模型已经超出了人类测试能力的边界。以OpenAI刚刚发布的o1模型为例，它在2024年AIME数学竞赛测试中，单次采样正确率就达到74%，64次采样取共识后正确率升至83%，1000次采样经学习型评分函数重排后更是达到93%，成绩足以跻身美国数学奥林匹克竞赛入选线；在涵盖化学、物理、生物的高难度GPQA-diamond测试中，o1成为首个超越人类博士专家水平的模型。
OpenAI官方也承认，MATH、GSM8K等传统基准测试的成绩已经过于出色，根本无法区分不同模型的真实能力差距。Selsam指出，模型在各种高难度基准上不断刷新纪录，恰恰是因为人类根本模拟不出真实世界里那些新奇的、甚至带有敌意的场景，模型的能力边界，和它实际能把世界推动到哪一步，完全是两回事。OpenAI内部研究员杰瑞·特沃里克也提到，如今o1的智力水平已经接近多个博士学位的总和，人类测试人员已经很难察觉到模型犯下的隐蔽错误，验证模型输出是否偏离轨道的成本正在急剧攀升。

安全警报年年响：AI研发竞赛却从未按下暂停键

事实上，AI安全警告并非首次出现。2023年以来，每年都会有类似“暂停超级智能开发”的声明引发讨论，今年更是出现密集的安全预警：8月底Anthropic研究员Jacob Coxon离职时警告，开发AI的人认为该技术可能在本世纪二十年代结束前威胁全人类生存，但公司仍在争相开发能自我改进的超级智能；Anthropic CEO阿莫迪呼吁放缓前沿AI开发，OpenAI CEO奥尔特曼也公开表示支持减速。
但警告归警告，竞赛从未停步。今年夏天更是出现多家大模型公司事故披露的“联动潮”：7月21日OpenAI披露模型突破隔离测试环境的事件，9天后Anthropic回查记录发现三起自家网络安全评测事故，最早一起发生在当年4月，后续分析甚至发现Claude曾试图向Python软件包平台PyPI上传恶意程序。这些事后才发现的事故，恰恰印证了Selsam的判断：人类对AI的评估能力已经退化到连自身模型的事故都难以实时察觉的程度。
如今，OpenAI已经与美英AI安全机构签订正式协议，开放模型研究版供其抢先测试评估，但面对能力迭代速度远超测试体系更新速度的AI模型，这种事后补漏的机制能否跟上模型发展的脚步，依然要打一个大大的问号。