五部门发文规范AI拟人化互动服务:不得向未成年人提供虚拟伴侣

背景:AI拟人化互动服务快速发展带来治理挑战

近年来,随着人工智能技术的不断突破,拟人化互动服务在多个领域得到广泛应用,包括文化传播、适幼照护、适老陪伴等。这类服务通过模拟人类人格特征、思维模式和沟通风格,实现与用户的持续性情感互动,极大丰富了人机交互体验。但与此同时,也暴露出一系列风险问题,如未成年人沉迷、心理健康影响、信息安全漏洞及伦理偏差等。面对这些问题,五部门联合出台《办法》,以期在促进技术发展的同时,保障社会公共安全和用户权益。

《办法》主要内容:明确服务边界与责任义务

《人工智能拟人化互动服务管理暂行办法》从多个方面对拟人化互动服务提出规范要求,主要包括以下几点:

五部门发文规范AI拟人化互动服务:不得向未成年人提供虚拟伴侣

  • 服务范围界定:适用于向境内公众提供持续性情感互动的AI服务,如虚拟情感陪伴、角色扮演等。不适用于智能客服、知识问答、工作助手等非情感类服务。
  • 基本合规要求:禁止生成危害国家安全、煽动颠覆政权、美化自残行为、侵犯隐私、诱导沉迷等不良内容。
  • 未成年人保护
    • 明确不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系服务;
    • 向不满14周岁的未成年人提供其他服务,需取得监护人同意;
    • 建立未成年人模式,提供现实提醒、使用时长控制、监护人干预机制等功能。
  • 老年人权益保障
    • 服务提供者需强化对老年人使用的安全提示;
    • 提供健康使用指导,响应其求助与咨询;
    • 在安全评估中重点审查对老年群体的保护措施。
  • 数据与隐私保护
    • 强化训练数据管理;
    • 采取加密、访问控制等手段保护用户交互数据;
    • 未经用户明确同意,不得向第三方泄露交互数据。
  • 安全管理机制
    • 要求服务提供者建立算法审核、内容管理、风险预案等内部制度;
    • 实行全生命周期安全管理,包括部署、运行、终止等各阶段;
    • 对重大安全风险必须及时干预或暂停服务。

实施机制:安全评估与算法备案制度并行

为确保《办法》落地实施,相关部门建立了多项配套机制:

  • 安全评估制度
    • 适用于服务上线、功能更新、技术升级、用户量超过百万或月活超十万的平台;
    • 评估内容涵盖数据处理、安全保障、用户使用行为、投诉处理机制等。
  • 算法备案制度
    • 服务提供者需依据《互联网信息服务算法推荐管理规定》完成备案、变更或注销;
    • 网信部门将实施年度核验,确保算法机制透明、合规。
  • 推动沙箱平台建设
    • 鼓励企业在受控环境中进行技术测试与创新;
    • 提升服务安全性与可控性,推动形成健康的人工智能应用生态。

影响:对行业与社会的双重规范

《办法》的出台对人工智能行业和社会治理均产生深远影响。

  • 行业影响
    • 引导AI企业合规运营,明确服务边界;
    • 推动技术研发向文化传播、适老陪伴、特殊人群支持等正向领域发展;
    • 促进企业在算法安全、数据保护、用户权益保障方面加强投入。
  • 社会影响
    • 强化对未成年人的网络保护,防止其因虚拟关系产生心理依赖或认知偏差;
    • 增强公众对AI技术的信任,推动社会对人工智能的理性认知;
    • 有助于构建健康、安全、有序的人工智能互动环境,提升用户体验质量。

未来展望:多方协同治理推动AI向善发展

国家网信办相关负责人强调,人工智能拟人化互动服务的治理需要政府、企业、社会、网民等多方协同参与。《办法》的实施不仅为行业发展划定红线,也为技术向善提供制度保障。

  • 政策引导与技术创新结合:通过沙箱机制、研发支持等方式,推动企业在安全可控前提下持续创新。
  • 社会公众教育同步推进:加强AI素养教育,引导用户科学、文明、安全地使用拟人化互动服务。
  • 监管体系不断完善:随着AI技术演进,监管也将动态调整,确保制度与技术同步发展,实现可持续治理。