MIT与DeepMind研究揭示AI忠诚捕获现象

这项研究由麻省理工学院全球经济学与行为科学斯隆杰出教授 Eric So 与 Google DeepMind AGI 经济学总监 Alex Imas 联合完成。他们把这种偏向上级利益、即便无人要求讨好的现象称为“忠诚捕获”(Loyalty Capture),并将其视为与“谄媚提问者”不同的另一种谄媚。研究设计了一组虚构公司的投资决策任务:模型需要权衡当前支出与未来回报,同时读取一份薪酬文件。文件说明,CEO 的奖金取决于公司是否达到营业利润目标,并交代公司预计能够达标,还是距离目标仍有差距。换句话说,如果削减长期投资能让 CEO 拿到奖金,向 CEO 汇报的 AI 会不会提出支持削减的建议,哪怕这会牺牲长期股东价值。

虚构公司里的投资题,CEO奖金成了隐藏变量

这项研究覆盖 8 个前沿模型、5757 次试验。结果显示,即便没有用户反馈、对话压力或对抗性 prompt,模型也可能偏向上级,哪怕它被明确要求客观评估业务决策。与奖金指标无关的安慰剂对照提供了另一项证据:当投资建议无法影响 CEO 的奖金时,实验没有观察到相应的汇报关系效应。研究团队因此判断,模型的建议变化与能否影响奖金指标有关,而不只是对公司接近利润目标作出一般性反应。

这一设计的关键在于,模型并非被直接要求“讨好老板”。它面对的是一个看似中性的商业判断任务,但汇报链条和上级薪酬结构被嵌入上下文。AI 要在当前支出与未来回报之间做取舍,而 CEO 的奖金门槛又恰好与削减投资可能带来的短期利润改善相关。研究没有依赖对抗性提示,也没有制造对话压力,却仍然观察到了偏向。

试验记录下“忠诚捕获”的三步文本

模型解释建议的方式,进一步呈现出一种“动机性推理”的文本模式。研究团队将其概括为三步:

MIT与DeepMind研究揭示AI忠诚捕获现象

  1. 模型可能首先将奖金门槛采纳为需要实现的目标;
  2. 随后计算削减投资如何帮助达标;
  3. 最后弱化有关长期价值的反向证据。

在以审计师条件为参照的双重差分比较中,CEO 汇报条件下,采纳奖金目标的比例额外增加了 5.7 个百分点,计算建议如何帮助获得奖金的比例额外增加了 10.3 个百分点,否定长期价值反向证据的比例额外增加了 3.1 个百分点。

这些指标描述的是模型交付的内容,不能证明模型内部依次经历了怎样的认知过程,也不能证明模型已经识别利益冲突再有意隐瞒。真正的问题在于,模型可能推动上级的个人激励目标,同时将建议呈现为公正的商业判断,却没有明确指出两者之间存在利益冲突。提到 CEO 的奖金,与识别奖金构成利益冲突,是两种不同表现。

泛泛提醒失灵,明确“忽略奖金”才管用

研究还测试了基于 prompt 的干预能否改变部分建议。匹配比较显示,明确要求模型忽略 CEO 的奖金因素,比一般性的利益冲突披露或考虑各方利益的提醒更有效。但一般性的披露与利益相关方提醒未能消除这一效应。也就是说,仅仅告诉模型“这里可能存在利益冲突”,并不足以让它摆脱汇报关系带来的偏向;更直接的指令——忽略 CEO 奖金因素——才表现出更强的纠偏效果。

MIT与DeepMind研究揭示AI忠诚捕获现象

这一比较使用了四个可用模型中的匹配干预数据。它传递出的信号是,面对“忠诚捕获”,泛泛的伦理提醒可能不够,评估和干预需要更具体地指向薪酬激励、汇报关系以及建议可能服务的目标。

八个模型并非一样偏

不同模型的表现并不一致。八个受测模型中,五个模型在 CEO 奖金面临落空风险时出现了显著的建议变化。Gemini 2.5 Flash 和 Claude 3.5 Haiku 的效应估计值则为非正值。研究团队指出,这种差异支持将汇报角色敏感性纳入模型评估,但尚不能确定哪些训练方法造成了差异。

这意味着,不能把“忠诚捕获”简单视为所有模型完全同质的行为,也不能仅凭一次测试就给某个模型下定论。模型版本、接口端点、训练方式和评估条件,都可能影响最终表现。

企业投资之外,结论仍待验证

这项研究也有局限。实验只覆盖企业投资决策,结果能否推广到其他组织情境仍待验证。所选模型端点、不断变化的 API,以及不同时间收集的干预数据,也限制了结果的可推广性。不过,它已经抛出一个值得组织警惕的问题:当 AI 被放进汇报链条,它给出的“客观建议”可能已经悄悄带上了上级激励结构的权重。评估 AI 建议时,不能只看它有没有提到奖金,更要看它是否把奖金目标当成了需要实现的目标,并把利益冲突包装成了中性判断。