豆包手机助手消费者版发布:推出 GUI 协议,三方 App 可自主拒绝 AI 自动操作
9月14日,字节跳动旗下豆包手机助手消费者版本正式对外发布。相比2025年底推出的技术预览版,本次消费者版重点强化了稳定性和日常可用性,主打交互体验升级,同时针对预览版落地过程中遇到的第三方应用权限冲突问题,推出了针对性的开放解决方案。

多模态交互升级,AI键+屏幕问答覆盖全场景
本次消费者版在交互层面做了多项能力升级,支持语音、专属AI键等多种唤醒方式,适配不同使用场景。其中专属AI键搭载指纹鉴权能力,用户完成本人验证后无需二次解锁,即可在锁屏状态下安全调用助手执行任务;语音唤醒也针对远场、内部噪音、嘈杂环境等复杂场景做了专项优化,识别准确率大幅提升。
新增的屏幕问答能力让用户无需额外截图或切换应用,就能让助手结合当前屏幕内容继续处理任务。例如官方演示中,用户打开相机对准室内装修环境,说出“根据这个装修风格,帮我选一个一米二以内、价格不超过一千元的柜子”,豆包就能结合画面内容和用户需求,在电商平台匹配到符合要求的商品。此外助手还接入了飞书妙记能力,用户可以直接追问“昨天用户访谈里提到的产品建议”这类过往录音的具体内容;同时支持语音输入、三指上滑、同时按住AI键和音量键等方式手动保存当前屏幕内容,形成可在本地检索的记忆。
开放GUI操作声明协议,三方App可自主设置操作边界
备受关注的“操作手机”功能此次以Beta形式开放,为解决此前技术预览版落地时部分应用出现登录受限、AI操作无法继续的问题,豆包同步推出了屏幕自动化操作声明协议(SAEP),并启动为期30天的规则公示。
根据协议内容,第三方应用可以自主声明操作边界,明确允许或拒绝AI助手在本应用内进行屏幕自动化操作,豆包手机助手将充分尊重开发者意愿,对明确拒绝相关操作的应用不会进行自动化操作。协议还细化到了具体页面和业务环节:开发者可以禁止登录页面的截图和模拟输入,也可以允许助手辅助编辑内容但限制其完成最终发送或发布,签到、抽奖、秒杀、积分及奖励领取等场景也被列入可限制的操作范围。
目前官网列出的“操作手机”支持范围覆盖系统及中兴应用、字节系应用,以及部分已接入的第三方应用,后续将逐步扩展支持范围。豆包方面表示,图形界面智能体仍是一项快速发展的前沿能力,期望与合作伙伴共同构建开放、规范的手机AI应用生态。
分层隐私管控,本地检索能力保障数据安全
在数据安全和隐私保护层面,豆包方面表示助手的数据收集和处理遵循“合理必要”与“用户自主控制”原则,采用端云结合的处理方案,同时建立了Agent防护体系,对可操作范围进行分层、分级管理。
本地信息检索功能以用户主动授权为前提,覆盖电话、相册、短信、便签等数据,用户询问港澳通行证到期时间这类问题时,助手可以直接从手机本地信息中检索答案,无需上传云端。同时协议还设计了操作日志查询机制,第三方应用可以查看与自身相关的操作记录,追溯助手的操作目标、决策和执行结果,用户也可以前往豆包手机助手官网查看完整的隐私安全白皮书。
首搭努比亚NaviX Ultra,9月16日正式开售
首个搭载豆包手机助手消费者版本的硬件设备为努比亚NaviX Ultra,目前已开启预约,将于9月16日正式发售,同时也会面向努比亚M153老用户推送新版本。
此外豆包智能服务Beta版已接入曹操出行、地图等服务,其中曹操出行首批支持北京、杭州两城,用户提出打车需求后,助手可确认地址、选择车型并发起下单,后续还将接入更多服务场景。