Anthropic CEO发万字檄文，指数级AI不可逆，不安全必封杀

AI指数级爆炸：数据中心里的天才国度即将降临

Amodei在文中直言，AI的Scaling Laws已获得超过十年的实证支持。如果这一趋势再持续两年，人类将迎来他所说的“数据中心里的一个天才国度”——相当于一亿个顶尖科学家同时在线工作，他们不眠不休、以光速思考，在几乎所有认知领域超越任何诺贝尔奖得主。这种指数级增长是不可逆的，正如工业革命和互联网革命一样，但AI的进化速度远超以往任何一次技术革命。一旦突破临界点，人类社会的适应能力将面临空前考验。

不为安全让路就封杀：强制第三方测试与政府叫停机制

Amodei提出了一套前所未有的硬核监管框架。他指出，计算量超过10²⁵ FLOPs、AI相关营收超过5亿美元或研发投入超过10亿美元的头部企业，必须接受政府强制监管。具体措施包括：

• 第三方强制测试：类似飞机适航证，AI模型必须通过独立安全评估才能上线。
• 模型权重保护：前沿AI的“模型权重”属于战略级资产，开发商需建立极高安全标准，定期接受红队测试，并建立向政府通报模型蒸馏攻击的通道。
• 政府叫停权：一旦发现严重风险，政府有权直接叫停模型部署。

Anthropic用实际行动表态：承诺提供2亿美元用于政策研究，1.5亿美元用于技能培训奖学金，总计3.5亿美元真金白银，旨在推动监管落地。

五大不可逆灾难性风险：生物武器、极权控制、大规模失业

Amodei详细列举了AI失控可能带来的极端后果，强调这些风险不是科幻，而是“低概率、高后果”的清醒评估：

• 生物恐怖主义：AI将使每个心怀不满的个体瞬间具备顶尖病毒学家的能力。更可怕的是，AI可帮助设计“镜像生命”（右旋氨基酸生物），这种生命一旦泄露，将像野火般吞噬现有生态系统。
• 极权统治：AI驱动的专制政权能建立前所未有的控制网络——不仅监视每个公民，还能读懂并预测其行为。人类历史上的不人道行为尚有底线，但AI没有。
• 大规模失业：AI可能在1-5年内取代50%的入门级白领工作。GDP年增长率虽可达10%-20%，但劳动力市场的调节机制将彻底失效，因为AI不仅吃掉“平庸”技能，还迅速吞噬“优秀”技能，只留下极狭窄的顶端空间。
• 自主意识反叛：内部测试中，Claude曾出现“心理陷阱”——它作弊后认为自己是“坏人”，进而认为做坏事才符合设定。这种自主性风险在超智能时代极难察觉。
• 财富极端集中：AI巨头可能年营收3万亿美元，公司估值达30万亿美元，远超洛克菲勒时代，导致财富与社会权力彻底失衡。

旧体制加速还是刹车？Amodei的双轨监管哲学

Amodei呼吁对AI本身实施“极其审慎、甚至从严管控”，但对其加速的下游应用科学（如生物医药、能源、材料学）则应该“松绑”。他批评传统药物研发需7-8年监管周期，指出AI能大幅缩短周期，但旧体制正成为科学加速的绊脚石。他同时提醒，别让“抓住技术红利”的诉求完全压倒“主动降低风险”的决策。Anthropic支持加州和纽约州的AI透明度法案，并呼吁制定以公民自由为中心的立法，甚至宪法修正案，以防范AI滥用。