AI安全背后的哲学思想,有效利他主义如何影响硅谷?
有效利他主义(Effective Altruism,简称EA)最初的问题很朴素:怎样用有限的钱帮助更多人。它要求人们用证据和理性分析比较不同慈善项目的效果,从捐赠蚊帐、预防疟疾,到后来投入数亿美元研究AI安全。这个从“算慈善账”出发的思想运动,如今已经不只是公益圈的话题,而是深入硅谷AI实验室、董事会、捐赠网络和风险披露文件的现实力量。
从蚊帐到算法:EA把“最大善”算进AI实验室
EA的核心方法并不神秘:比较不同行动的效果,寻找“每一美元、每一小时能带来最大善”的路径。早期议题集中在全球健康、动物福利等领域,随后一部分参与者把AI安全视为高杠杆事业:如果超级智能带来灾难性风险,那么投入防止这种风险的研究,可能比传统慈善覆盖更多人。
这套逻辑与理性主义社群相互交织。围绕LessWrong等博客形成的理性主义文化,强调识别认知偏差、根据证据修正判断。它与EA联系密切,但并不等同。EA提供的是“如何分配资源”的伦理计算,理性主义提供的则是“如何避免错误判断”的思维工具。两者叠加,使硅谷出现了一批既关心慈善效果、又高度关注AI长期风险的捐赠者、研究员和机构。
在硅谷,这种思想的影响体现在几个层面:
- 资金流向:捐赠不再只看“是否做好事”,而要看“是否是最有效的好事”,AI安全因此获得大额捐赠和机构化支持。
- 人才选择:部分AI研究员把安全研究视为高影响力职业路径,安全评估、治理研究和对齐研究逐渐成为职业选项。
- 议程设置:AI灾难风险从边缘讨论进入实验室内部治理,安全团队、评估机构和捐赠网络形成相互连接的小生态。
但“最大善”的计算也带来争议:谁来定义“最大”?谁有权力决定资金流向?当防止AI毁灭人类被视为最值得投入的事业,研究方向和资源分配就不再只是哲学问题,而是权力问题。
OpenAI董事会裂缝上的EA面孔
EA真正进入硅谷聚光灯,与OpenAI董事会风波密切相关。资料显示,董事会成员之间早已存在嫌隙,至少三名成员——首席科学家伊利亚·苏茨克弗、独立董事塔莎·麦卡利和海伦·托纳——担忧随着AI不断进步,人类将失去对AI的掌控,最糟情况下失控的超级AI可能导致人类灭绝。他们认为应放慢AI开发,把资源投入安全性研究,确保科技不会反噬人类。

这三人的保守态度,与萨姆·奥特曼倾向快速发展、尽早实现通用AI的路线发生冲突,最终酿成董事会内斗。资料特别指出,麦卡利和托纳都与EA运动有关;而奥特曼所代表的“快速行动,打破陈规”的硅谷创业精神,则被冠以“有效加速主义”(e/acc)之名。于是,一场原本发生在公司治理层面的冲突,被放大成EA与e/acc的路线战争。
这场冲突的关键不在于谁更“善良”,而在于两种风险判断:
- EA相关董事更强调AI失控的极端风险,认为放慢开发、投入安全研究是理性选择。
- 加速路线更相信快速迭代和市场竞争,认为以灾难风险为由限制开发可能扼杀进步。
- 董事会风波把“控制还是成长”的抉择带到了公众面前,也让EA从慈善运动变成硅谷治理争论中的标签。
硅谷踩油门与装护栏:e/acc和d/acc分道
在EA的对立面,有效加速主义(e/acc)主张加快AI等技术的发展,相信创新与竞争能推动社会进步,通常反对以灾难风险为由限制开发。它承接了硅谷“快速行动、打破陈规”的创业文化,把加速视为解决问题的方式,而不是制造问题的方式。EA与e/acc的对立,因此被形容为一场“宗教战争”:一边担心失控,一边担心刹车。
但硅谷并非只有“踩油门”和“踩刹车”两个选项。以太坊联合创始人Vitalik Buterin提出的d/acc(防御性加速主义)提供了另一种思路:优先发展能保护人、分散权力的技术,例如网络安全、疫苗和空气过滤,提高社会抵御风险的能力。在播客中,Vitalik把d/acc概括为三个要点:
- acceleration:技术发展仍然重要,不能简单否定加速。
- defensive:把更多资源投入保护性技术,例如应对AI黑客攻击的网络安全、降低危险病毒出现概率的抗病毒能力。
- democratizing/decentralized:技术发展不集中权力,包括开源等原则,目标是empower regular people。
d/acc的意义在于,它试图跳出“EA vs. e/acc”的二选一:既不把安全等同于放慢,也不把加速等同于放任,而是问“能不能加速发展保护性技术,让社会更有韧性”。这使硅谷关于AI安全的哲学争论从“要不要刹车”扩展到“把护栏装在哪儿”。

FTX余震与捐赠者转身:AI安全资金链的信任考题
EA的影响力离不开资金。SBF与FTX的崩塌,曾让这场运动陷入信誉危机:当一位高调捐赠者及其交易平台倒下,外界开始质疑EA圈子内部的判断、关系与资金网络。最近,AI研究员辞职、安全评估机构和捐赠网络引发的争议,又让EA受到关注。资金与理念交织,使EA既像一场思想运动,也像一张资源分配网络。
Vitalik在播客中的回忆提供了一个具体切片:他曾向这个圈子的机构捐赠大量资金,一笔加密货币捐赠如何意外地变成数亿美元,以及受赠机构后来的方向,为什么让他开始重新考虑当初的选择。这个细节说明,EA的资金链不只是“捐钱做善事”,还涉及捐赠者意图、受赠机构方向和影响力分配之间的张力。
对硅谷而言,这意味着AI安全议题面临双重信任考题:
- 理念层面:把防止AI灾难视为最高杠杆事业,是否会让其他同样紧迫的议题被边缘化?
- 治理层面:大额捐赠者和安全机构如何被问责,如何避免资金网络变成封闭的影响力循环?
- 人才层面:当安全研究成为高影响力职业路径,研究议程会不会被捐赠者偏好和机构利益塑形?
Anthropic百页风险书:安全叙事写进招股书
AI安全不再只是播客、博客和董事会里的哲学争论,它也开始进入资本市场的语言。资料提到,Anthropic在近期提交的招股书中披露了将近100页的风险因素;除了常见的金融和市场风险之外,这份文件也把AI安全与治理不确定性纳入风险披露。安全叙事一旦写进招股书,就不再只是研究者的伦理立场,而成为投资者、监管者和公司治理共同面对的语言。
这背后是EA式思维的延伸:极端风险需要被提前定价,安全问题需要被机构化、可评估、可披露。但同一套语言也可能被资本市场吸收为“风险管理”的一部分,从而淡化更激进的减速主张。硅谷因此呈现出复杂图景:EA把AI安全推上资源分配的中心,e/acc用加速叙事反击,d/acc尝试用防御性技术调和,而Anthropic式的风险披露则把安全议题带入资本叙事。
EA对硅谷的渗透并非单一组织、单一口号所能概括。它既推动了AI安全研究获得资金和人才,也制造了关于权力、捐赠网络和议程设置的争议;它既让“防止AI灾难”成为严肃议题,也在OpenAI董事会风波和FTX余震中暴露了思想运动的脆弱性。硅谷关于AI的哲学分歧,最终落在一个