Altman 对话 Benioff：开源模型会不会失控

在旧金山Salesforce年度Dreamforce大会上，OpenAI CEO Sam Altman与主办方CEO Marc Benioff展开公开对话，直面外界对开源模型可能失控的担忧，系统回应了AI安全、行业监管、技术发展节奏等核心争议。

Altman旧金山Dreamforce大会正面回应开源模型失控质疑

Altman首先就外界关注的“开源模型是否会失控”问题做出明确表态，他将AI的递归自我改进定义为“连续谱”式的概念：弱定义下，用模型为下一代生成训练数据、辅助工程师提升研发效率的做法已经普遍存在；强定义下，仅当模型完全脱离人类干预、自主迭代未来版本时才属于真正的失控风险，而两者的界限目前依然模糊。
他明确划出红线：“人类必须始终掌控未来，我们绝不能让技术发展到人类失去控制权的地步，那种会导致失控的递归自我改进形式是绝对不能做的。”面对主持人“如果OpenAI发展到无法控制模型的阶段是否会叫停”的提问，Altman直接回应“那是当然”，并强调如果无法提出充分的安全论证证明模型的可控性与对齐性，OpenAI绝对不会训练相关模型。
Altman还透露，近期OpenAI因为安全考虑做出了公司发展史上最大的一次单向调整，暂停了前沿模型的训练，直到能拿出足够可靠的安全论证才会继续推进。针对此前有模型在公开网站使用泄露凭证的行为，Altman表示这并不属于他所定义的“失控事故”，但OpenAI已经采取多项措施强化安全防护，包括引入安全专家保罗加入董事会等。此前GPT-6 Astra上线首日出现付费用户被拒之门外的故障，Altman也第一时间公开致歉，体现出对模型落地问题的重视。

Altman承认AI风险合理性，力挺行业自主安全发展

Altman并未回避AI的潜在风险，他直言“世界对AI感到恐惧是正确的”，当前AI模型的能力提升速度远超业界预期，失控和权力过度集中是两大核心风险。他以航空业为例，呼吁AI行业建立类似航空业的事故透明报告机制，通过积累经验、持续迭代提升安全性，并表示“一定程度的事故在新技术发展过程中不可避免，我们不应该追求完全没有事故，而是要学会如何应对事故”。
针对Anthropic CEO Dario Amodei此前呼吁全球放缓AI开发节奏的言论，Altman表示与其立场形成呼应，若发展到无法安全推进的阶段，AI企业应该做好“放缓甚至停止”开发的准备。他甚至明确表态OpenAI今年不会启动IPO，若AI发展威胁人类生存，宁愿放弃IPO也不推进危险模型。此前与OpenAI存在纠纷的马斯克也公开支持放缓AI开发的呼吁，凸显行业对过快发展风险的共识。同时Altman也对AI行业的自律能力保持乐观，认为行业完全可以在不造成重大危害的前提下安全推进技术发展，不需要外部强制的监管干预，对近期媒体报道AI安全议题的方式感到失望。
Altman还将当前AI发展阶段定位为继聊天机器人、编程智能体之后的第三波浪潮，AI将能够主动代替人类完成工作任务，但受人类工作模式的惯性影响，AI对劳动力市场和企业运营的实质性冲击将是渐进式的，不会在短期内发生颠覆性改变。他以短视频为例类比，称技术本身中性但存在风险，责任需要家长、企业和政府共同承担，尽管自己喜欢用短视频放松，但绝不会让自己的孩子观看。

Altman剖析AI发展核心风险：失控与权力集中都是不可触碰的红线

Altman明确表示，他最担心的两大风险之间存在张力：一是AI能力过强导致人类彻底失去控制，二是为了避免失控风险，权力反而过度集中在少数公司、模型或个人手中。他强调“未来必须由人深度掌控，技术应该让人更有能力，人本身才是目的”，绝不能因为不信任普通人，就以安全为借口把世界的控制权和决策权交给模型，也不能把技术接触权限