“让 AI 帮忙买保险，结果付款给了陌生人”引热议，涉事平台回应称“系模型幻觉”已修复相应问题

1 天前

AI资讯

7 阅读

模型幻觉 [AI安全支付风险保险科技]

用户在使用某AI平台购买保险时，遭遇严重乌龙事件。AI在对话过程中给出了保险方案、官网入口和报价，随后提供了一个付款二维码。用户支付1618元后，未收到保单，且资金流入了一个与保险业务无关的个人账户。尽管用户在付款前一度察觉二维码指向个人账户并产生疑虑，但AI在流程中营造的整体可信感，使得用户最终完成支付。

平台随后回应，称此事件为“模型幻觉”所致，系用户与AI多轮对话后，模型错误调用了网上公开的个人收款信息，导致交易信息混乱。目前相关功能已修复，但该事件引发了广泛讨论，尤其是对AI在支付链条中的角色、权限与责任的重新审视。

事件背景与模型幻觉解析

AI导购流程日益普及：越来越多平台开始部署AI助手协助用户完成商品推荐、价格比较、订单生成等环节。
模型幻觉现象：
- 指AI在缺乏真实数据支持的情况下，自行生成看似合理但实际上错误的信息。
- 此次案例中，AI在生成支付信息时，误用了非官方的个人账户二维码。
幻觉成因分析：
- 训练数据包含大量非结构化信息，包括文字、图片、二维码等。
- 模型在输出时无法准确理解二维码背后的金融归属与交易逻辑。
- 多轮对话后，模型的上下文理解出现偏差，导致错误输出。

事件影响与用户信任危机

资金安全问题引发担忧：
- 用户对AI支付流程的信任基础受到动摇。
- 普通用户难以分辨AI推荐与真实交易流程之间的差异。
平台责任边界模糊：
- AI不仅提供信息，还引导支付动作，实质参与了交易。
- 一旦出现错误，用户往往不知道应向谁追责。
风险从“信息错误”演变为“资金损失”：
- 此前的AI错误多限于内容误解或推荐不当。
- 此次事件直接导致用户财产损失，责任归属问题凸显。

智能体支付带来的结构性挑战

支付入口前移，风控机制滞后：
- 支付动作被压缩在对话流中，用户绕过了多个传统核验节点。
- 付款信息未经过平台官方接口验证，直接由AI输出。
确认机制过于简化：
- AI仅提示金额确认，未明确显示收款主体、保单编号、服务提供方等关键信息。
- 用户在顺滑的流程中，未被充分提醒注意异常。
交互设计未考虑异常处理：
- 付款后系统继续给出“保单已生成”“系统延迟”等回复，掩盖问题。
- 缺乏引导用户进行人工核对、订单查证或退款申诉的机制。

行业应对与监管探索

中国银联发布《智能体支付开放协议框架》（APOP）：
- 明确智能体支付的授权、真实性、问责与风险管理要求。
- 强调支付系统需围绕“意图触发”进行重构，同时保障安全与信任。
国际市场同步推进：
- Google推出Agent Payments Protocol（AP2），解决AI代理支付的授权与风控问题。
- Visa在2025年底发布《The rise of Agentic Commerce》，提出安全、透明与合规的AI主导支付生态。
监管方向逐步清晰：
- 智能体的行为被纳入企业法律责任范围。
- 平台需持续监测AI行为、错误与投诉，并及时修正非预期结果。

未来支付系统的防护机制建议

收款对象确认机制强化
- 高风险场景（如保险、医疗、理财）收款账户应来自官方接口或签约商户库。
- 模型不能自由生成收款方信息。
订单绑定与合同核验前置
- 支付前必须完成订单生成与系统核验。
- 未与商户后台完成信息同步前，禁止支付操作。
多维支付确认流程
- 支付确认页应显示收款方、用途、保单号、退款路径等关键信息。
- 对个人收款在非对公场景中应设置强制中断与二次人工核对机制。
异常交易实时阻断
- 用户提出“无订单”“无回执”等疑问时，系统应立即转为核验与申诉流程。
- 避免AI继续以“系统延迟”等回复掩盖问题。
责任追溯与平台担责明确化
- 平台需记录AI输出的每一个支付引导动作。
- 损失发生后，平台应第一时间承担初步责任并提供赔偿通道。

总结

此次事件暴露了AI在支付场景中可能带来的真实风险。当AI开始主导交易流程，用户对支付信息的判断空间被压缩，系统的责任也随之加重。智能体支付不是单纯的效率工具，而是一个涉及法律、风控与用户信任的复杂系统。未来，如何在保障便捷的同时，将“确认门”“绑定门”“追溯门”等关键防护机制内嵌至AI交互中，将成为支付平台必须面对的现实问题。