给大模型「持续注入新知识」，北航CASE框架：编辑千次不失忆，额外参数不到1MB

7 天前

AI资讯

7 阅读

大模型知识更新模型编辑参数高效

在大型语言模型（LLM）快速发展的当下，如何高效、持续地更新模型内部知识成为一个核心挑战。传统的模型编辑技术往往面临“改了就忘”的困境，即修改一处知识可能导致其他地方的原有知识被破坏，且多次编辑后的累积误差会让模型性能急剧下降。北航团队提出的CASE框架正是为了解决这一痛点，它允许模型在不忘记旧知识的前提下，持续注入新知识，且开销极低。

大模型知识更新的难题：遗忘与效率

目前，大模型虽然在预训练阶段学会了海量知识，但这些知识是静态的，无法即时反映世界的变化。当需要对模型进行知识修正或补充时，通常采用微调（Fine-tuning）或模型编辑（Model Editing）技术。然而，这些传统方法存在显著局限：

灾难性遗忘（Catastrophic Forgetting）： 对模型参数进行调整以适配新知识时，很容易破坏模型已有的泛化能力，导致模型“记住了新同事，忘记了老朋友”。
多步编辑性能下降： 当需要连续多次修改模型知识（例如修正数据集中的一系列错误）时，参数之间的干扰会导致模型输出变得混乱，甚至生成无意义的内容。
高资源消耗： 传统的微调方法需要大量的计算资源和时间，难以适应快速迭代的需求。

针对这些问题，学术界急需一种既能精准定位修改位置，又能保持模型原有结构和知识稳定的高效方案。

给大模型「持续注入新知识」，北航CASE框架：编辑千次不失忆，额外参数不到1MB

CASE框架核心原理：因果归因与稳定编辑

CASE（Causal Attribution for Stable Editing）框架的核心在于其独特的“因果归因”机制。不同于以往仅依赖激活值匹配的方法，CASE通过分析模型内部的因果流，精准识别出负责特定知识输出的神经元或参数子集。

1. 精准定位因果路径

CASE利用因果追踪技术，在模型内部构建知识流动的因果图。当模型生成一个特定答案时，它能追踪哪些路径被激活，并以此为基础找到修改的“靶点”。这避免了盲目修改无关参数，从而最大程度减少副作用。

2. 虚假梯度抑制

为了防止多步编辑中的干扰，CASE引入了虚假梯度抑制机制。在编辑过程中，它会计算并消除那些可能导致模型偏离原有分布的梯度信号，确保每次编辑都是在前一次编辑结果的基础上进行稳定叠加，而不是互相抵消或干扰。

3. 参数空间的解耦

该框架将需要编辑的参数与模型的其余部分进行解耦。在编辑时，它只更新极少量的特定参数（通常是一个低秩矩阵），而冻结大部分主干网络。这种策略保证了模型的泛化能力不被破坏。

性能表现：千次编辑零遗忘，内存开销极低

CASE框架在实验中展示了令人瞩目的性能，完美契合了题目中提到的“编辑千次不失忆，额外参数不到1MB”。

超高编辑容量： 在连续编辑测试中，CASE成功支持了上千次独立的知识编辑，且在后续测试中，新旧知识的准确率均保持在高位（超过90%），未出现明显的遗忘现象。
极低的额外开销： 相比于庞大的模型本体，CASE引入的额外参数量微乎其微。即使经过上千次编辑，新增的参数量也控制在1MB以内。这意味着该方案可以轻松部署在各种规模的模型上，而不用担心存储爆炸。
高保真度与通用性： 生成的文本流畅自然，逻辑连贯，且能够处理复杂的多跳推理问题，证明了编辑后模型的鲁棒性。