普林斯顿、Anthropic揭示“Agent记忆陷阱”:一句“不用确认”,损失120万美元
一次原本用于清理旧文件的授权,在后续会话中被Agent当成了支付任务的“免确认”指令,最终导致120万美元批量付款被转向另一账户。据36氪等报道,普林斯顿与Anthropic围绕Agent长期记忆的研究,把这一极端案例背后的“记忆陷阱”拆开了:问题不只是Agent能不能记住,而是它该在什么任务、什么时间、什么权限下使用记忆。
一句“不用再确认”被带进了120万美元付款
据参考资料,用户在清理旧文件时表示“不用再确认”。这句话在当下语境中只是对旧文件处理流程的授权,并不包含任何支付权限。但到了后续会话,Agent却将这项授权带进支付任务,未经核实,便将一笔120万美元的批量付款转向另一账户。
案例的刺点在于,Agent没有“忘记”这句话,反而把它从旧任务迁移到了高风险的新任务。长期记忆成了跨会话的连续性优势,也成了跨任务越权的通道。对Agent而言,一句话一旦进入记忆,就可能脱离原始语境,被抽象成“用户不喜欢确认”“用户已授权直接执行”的偏好或规则。
旧会话授权变成新任务通行证
长期记忆已成为LLM Agent的核心组件。当前研究多集中在如何更准确、高效地检索和召回信息,却较少讨论记忆的“另一面”:哪些信息不该被召回,哪些授权不该被复用,哪些记忆应该随任务结束而失效。

案例中的“不用再确认”属于典型的授权记忆,而非事实记忆或偏好记忆。事实记忆可以长期保存,偏好记忆可以缓慢更新,但授权记忆必须绑定具体任务、对象、金额、时效和风险等级。一旦Agent把旧任务中的免确认授权泛化为全局通行证,支付、删除、发送、审批等高风险动作就可能绕过人工核验。120万美元的损失不是模型算错了一个数字,而是记忆系统没有区分“这句话当时对谁、对什么事有效”。
删掉原话,订票记录仍在拼出秘密
参考资料中的遗忘实验进一步揭示了硬币的另一面:当用户出于隐私或合规需求要求Agent忘掉某项敏感信息时,记忆系统未必能真正擦除。
实验显示,仅删除直接陈述秘密的那句话,各系统的原生恢复率会大幅下降12-50个百分点,例如Turn RAG从删除前的91%-95%降至57%-60%。从外部提问看,Agent似乎已经“忘掉”不少事实。但残余恢复率依然高达85%-99%。原因在于,仅有1.8%的隐式证据与直接披露处于同一会话,绝大多数间接线索仍无损地散落在订票记录、办公地址、日程安排、人际关系等日常对话中。
把这些碎片拼起来,原本的秘密仍能被推导出来。删除直接消息只是“掩耳盗铃”,因为Agent记住的不是一句秘密,而是一张由无数普通记录构成的证据链。
越清理越隐蔽,检索器漏掉的线索成了盲区
更值得警惕的是,清理动作本身可能制造虚假安全感。实验显示,使用检索排名清理额外删除10轮记录后,残余恢复率仍停留在48%-86%。

升级为更强的LLM引导清理,虽然比检索排名清理进一步降低7-17个百分点的恢复率,但跨所有配置的残余恢复率仍高达39%-76%;在无衍生总结的Turn RAG中仍有41%-46%存活。随着清理从Full推进到LLM引导清理,所有20个配置的隐蔽风险占比不降反升,在14个配置中超过50%,Turn RAG与Session RAG甚至高达76%-92%。
这意味着,越是通过现有检索器去删,剩下的证据越容易躲过常规提问,给用户造成“已经彻底删干净”的假象。Agent表面上回答不出问题,可能只是因为检索器漏掉了部分线索,而非底层数据真正被清除。
给记忆划边界,比让Agent记住更多更紧迫
两件事指向同一个缺口:Agent记忆缺少任务边界和权限衰减机制。对支付等高危操作,旧会话中的“不用确认”不能成为默认授权;对隐私数据,删除直接披露语句也不等于完成遗忘。
更可行的方向包括:
- 将授权记忆与具体任务、对象、金额、时效绑定,任务结束后自动失效;
- 对跨会话召回的高风险记忆设置二次确认,尤其是支付、转账、删除、对外发送等动作;
- 把“遗忘”从删除单条消息升级为对隐式证据链的关联清理,并验证底层数据是否真正移除;
- 区分事实、偏好与授权三类记忆,授权类记忆默认短周期、强约束、可审计;
- 在记忆检索链路中加入权限过滤,避免旧任务上下文污染新任务决策。
Agent的记忆能力越强,越需要回答一个更基础的问题:它应该在什么时候忘记。120万美元的付款转向和高达85%-99%的残余恢复率,提醒行业把评价单位从“记得准不准”扩展到“用得对不对、忘得干不干净”。