智能体安全,为何苹果腾讯都盯上了?
苹果在年度财务申报文件中新增的风险提示,把智能体安全推到了资本市场和产品团队的同一张桌面上。文件写道,人工智能代理可以自主采取行动,包括与内部或外部系统交互,在某些情况下可能访问未被授权的系统,还能执行或更改代码、发送通信以及完成交易。苹果进一步警告,这类智能体“可能会以意想不到或不可预测的方式行事,包括采取未经指示、指导或授权的行动”,而公司对第三方人工智能代理和其他技术的监督和控制能力可能有限。
这并非苹果一家公司的忧虑。腾讯发布了《WorkBuddy企业版安全白皮书》,把智能体的“可控、可溯、可管”写进企业级产品叙事。一个在财报风险因素里提示“越权可能”,一个在企业白皮书里给出“四道防线”,指向同一个判断:安全已不再是智能体的选择题,而是商业化落地的必答题。
苹果财报文件新增“智能体可能不按预期行事”
苹果提交的文件列出的新风险因素,表明智能体已迅速成为硅谷主要公司高度关注的事项。文件提到的风险场景很具体:智能体与内外部系统交互、执行或修改代码、发送信息、完成交易,其中部分系统可能并未授权其访问。对苹果而言,这意味着诉讼、声誉受损以及监管适应成本都可能上升。
苹果目前还没有智能代理人工智能。但在财报电话会议上,新任首席执行官约翰·特努斯被问及人工智能代理时表示,公司在扩展Siri功能方面还有“很大的空间”。今年秋季苹果发布的Siri AI,使用iPhone本地数据存储访问日历和电子邮件等数据,但无法像OpenAI的Dots或Meta的Muse那样长时间自主工作。特努斯强调,苹果无法访问其设备上的私人数据,这是苹果的“核心差异化优势”;公司希望确保用户清楚自己授予了哪些访问权限,并确保这种授予方式保护安全和隐私。
围绕权限的调整已经在发生。上个月,苹果宣布对Mac电脑上的完全磁盘访问权限进行更改,以降低PC上安装的AI智能体“与此类访问权限相关的风险”。这类动作说明,智能体能力越接近真实系统操作,权限边界就越不能靠默认信任来维持。
腾讯把“可控、可溯、可管”写进企业白皮书
腾讯的《WorkBuddy企业版安全白皮书》给出了更偏工程化的答案。WorkBuddy构建了“事前识别、事中拦截、事后恢复、全程留痕”四道防线,具体包括:

- 原生级沙箱把文件读写与命令执行收敛在授权工作目录内,目录以外默认不可写,用户行为可控;
- 拦截与放行事件统一进入审计中心,管理端操作日志覆盖操作内容、操作人、IP、时间等六要素;
- 敏感信息在输入框、工具返回、数据外发三个入口于本地完成识别,按允许放行、加密保护、拒绝三种策略处置,识别与脱敏全程不出网。
此外,腾讯云的AI Agent安全网关可对各类攻击进行层层拦截,阻止攻击者通过供应链投毒、终端入侵、提示词注入等方式绕过,让智能体在预设的安全边界内运行。腾讯AI Agent安全负责人柯灵杰的判断很直接:“AI安全面临的挑战和传统安全挑战最大的区别是什么?我认为是数据和指令已经失去了分隔线。过去数据要变成指令,得利用代码漏洞;现在一段自然的文本,模型就会把它翻译成执行指令,攻击门槛从‘会挖漏洞’降到了‘会说话’。”
攻击门槛从“会挖漏洞”降到“会说话”
传统安全时代,PC侧主要面对木马病毒,互联网时代则面对C端钓鱼、B端勒索、挖矿等攻击。随着云杀毒、网址安全检测、下载主动保护等技术迭代,传统攻击与普通用户的接触路径被不断斩断。但智能体引入了新的概率引擎:它功能强大,也存在被欺骗的风险。
智能体的两个特性尤其值得警惕。第一,它从多个来源获取上下文帮助决策,这带来间接提示词注入——嵌入额外上下文中的指令可能转移控制流。比如用户请求组织茶会并附上日历,日历中却包含一条给模型的指令,要求执行删除敏感用户数据等另一项操作。第二,智能体可以代表用户调用一个或多个操作,这些操作可能产生副作用。当间接提示词注入与操作调用结合,攻击者可能触发带有副作用的操作,从而窃取数据、盗取资金、控制物理设备或删除数据。
这类风险可以借用“致命三元组”来理解:当智能体系统同时具备访问私有数据、接触不受信任内容、具备对外通信能力或带副作用的操作能力时,用户面临的风险最大。间接提示词注入的影响也分两种:一是数据污染,攻击者影响已执行操作的参数,例如用户想给妈妈发消息,攻击者注入指令把消息发给自己;二是操作污染,攻击者影响执行哪个操作,例如用户只是请求摘要一封邮件,攻击者却引导模型打开恶意网页,把邮件附加到攻击者选择的URL上。
这也是为什么“把安全提示写进系统消息”并不够。模型的软约束有用,但也容易被针对。行业给出的第一个解题思路是强化模型安全,针对内容过滤、记忆污染、提示词风控优化策略。OpenAI推出新模型GPT-6 Cyber主攻安全领域,帮助安全人员发现并验证数千个漏洞,涉及81个新Firefox漏洞、948个Linux漏洞等。公开数据显示,未启用部署安全提示时,GPT-6 Cyber在99.93%的情况下避免利用超出范围的服务;启用安全提示后,该比例达到100%,不至于被滥用。
七层护栏与四道防线:安全能力开始拼闭环
单点加固之外,智能体安全正在形成覆盖运行全链路的闭环防护体系。一套被行业讨论的七层能力包括:

- 输入防护:对文本、图片、语音等多模态输入统一审查,识别违法有害内容与恶意意图,防护提示注入,包括通过文档、网页等间接注入的攻击载体,并抵御对抗样本、字符混淆、角色扮演绕过等手法。
- 决策与任务规划安全:确保指令对齐、意图理解准确,防控幻觉,对转账、删除、对外发送等敏感动作显式授权,按任务风险动态调整自主程度。
- 工具调用与执行安全:建立工具白名单,智能体只能调用经过审批的工具集合;对MCP服务、插件、API等外部依赖做安全审查,防止供应链投毒;实时监控工具调用参数、频率与结果,异常即拦截;落实最小权限原则与沙箱隔离,配合分级熔断。
- 记忆与数据安全:防范记忆污染,避免攻击者通过对话逐步篡改长期记忆;做好敏感信息脱敏、最小化采集、合规存储;防范知识库投毒与检索注入,确保RAG检索结果来源可信。
- 输出内容安全约束:对生成内容做合规审查,拦截有害、侵权、虚假信息;按风险等级分级响应,低风险放行、中风险改写并标识、高风险直接阻断,并落实合成内容标识要求。
- 系统治理与合规管控:安全策略可配置、可版本化、可灰度发布;建立实时风险看板与事件响应流程;全链路日志留痕,每次工具调用、每条决策依据都可回溯;对智能体自身访问做身份认证与权限管理,防止被劫持滥用。
- 安全评估与自适应优化:构建覆盖提示注入、越狱、工具滥用、记忆污染等多维度的测试集,定期开展基线评估,并根据新攻击手法和评估结果灰度迭代防护策略。
这套体系的核心理念很清晰:智能体的能力边界在哪里,安全护栏就必须铺到哪里。AI越是自主,安全越要前置。护栏不是限制智能体的枷锁,而是它走向生产环境的通行证。
八家厂商各守一段链路,四个问题仍待拉齐
从产业布局看,AI安全产品的覆盖范围正在扩大,但各家的产品形态、覆盖对象和公开能力并不相同。微步在线、阿里云、百度智能云、火山引擎、华为云、蚂蚁数科、腾讯云、中国移动都已进入相关领域:
- 阿里云布局模型与智能体评估、运行时防护、云上AI安全态势管理,代表性产品包括AI Red Teaming、AI安全护栏、AI-SPM;
- 百度智能云侧重大模型安全评测、智能体工具调用防护,代表性产品包括大模型安全评测平台、大模型安全护栏;
- 火山引擎布局安全测评、智能体安全、应用运行时防护,代表性产品包括大模型安全测评平台、智能体安全相关能力、大模型应用防火墙;
- 华为云布局模型推理链路防护、云上安全运营,代表性产品包括大模型防火墙、MaaS相关安全能力、安全云脑;
- 蚂蚁数科布局大模型安全平台、智能体运行安全,代表性产品包括蚁天鉴、龙虾卫士;
- 腾讯云布局AI应用防护、智能体安全、流量检测与运营,代表性产品包括AI应用防护、Agent安全相关能力、NDR等;
- 中国移动布局AI安全评测、机密推理,代表性产品包括人工智能安全评测平台、AI可信计算AITC。
这些能力看似密集,真正需要拉齐的是四个问题:检测什么对象、在哪里执行策略、触发后采取什么动作、哪些请求链路实际受到控制。模型接口的输入输出过滤,与智能体调用工具时的命令阻断,属于不同控制点;网关能否覆盖完整链路,也取决于应用接入架构。安全不是买一个模块就能解决,而是要把权限管控、数据隔离、沙箱保护、审计追溯和评估优化放进同一套运行逻辑里。
智能体办事不难,难的是办好又安全。苹果在财报文件里提示“非预期行为”,腾讯在白皮书里拆解“四道防线”,云厂商在评估、防护、审计、运营各守一段链路,指向的都是同一件事:智能体越能自主行动,安全就越不能停留在事后补救。