Knowledge editing systems must update selected facts while preserving nearby but irrelevant behavior. This paper studies this problem in a memory-assisted setting where an edit memory is retrieved at inference time and a parameter-efficient adapter corrects the model's object preference. We argue that the central design question is not only how to write an edit, but also when to suppress it. We introduce \method{}, a route-specialized dual-adapter editor. A relevance router first decides whether a prompt should receive an edit memory. Routed prompts use an edit adapter trained to prefer the new object over the original object; unrouted non-direct prompts use a separate locality adapter trained to preserve or restore the original-object preference. We evaluate \method{} on three 1,000-case protocols, \cf{}, \zsre{}, and \mquake{}, under the same memory protocol and two 7B/8B base models. On Llama-3.1-8B-Instruct, \method{} obtains the best overall probability-preference accuracy on all three benchmarks: 0.8180 on \cf{}, 0.8946 on \zsre{}, and 0.9922 on \mquake{}. The same trend holds on Qwen3-8B. Router ablations show that the relevant memory boundary differs across datasets: a lexical neural router is safest on \cf{}, while BGE embedding routing is better on \zsre{} and \mquake{}. Component and module ablations show that the gain mainly comes from separating edit injection from off-route suppression rather than from simply increasing LoRA capacity.


翻译:知识编辑系统需更新特定事实,同时保留邻近但不相关的行为。本文在记忆辅助框架下研究此问题:推理时检索编辑记忆,参数高效适配器修正模型的对象偏好。我们认为核心设计问题不仅在于如何写入编辑,更在于何时抑制编辑。为此提出\method{}——一种路径专用双适配编辑器。相关性路由首先判断提示是否应接收编辑记忆。被路由的提示使用编辑适配器,训练其优先选择新对象而非原始对象;未被路由的非直接提示则使用独立的局部性适配器,训练其保留或恢复原始对象偏好。我们在相同记忆协议下,基于三个1000样本协议 \cf{}、\zsre{} 和 \mquake{},以及两种7B/8B基础模型评估\method{}。在Llama-3.1-8B-Instruct上,\method{}在所有三个基准测试中均获得最佳总体概率偏好准确率:\cf{}为0.8180,\zsre{}为0.8946,\mquake{}为0.9922。Qwen3-8B上呈现相同趋势。路由消融实验表明,相关记忆边界因数据集而异:词法神经路由在\cf{}上最安全,而BGE嵌入路由在\zsre{}和\mquake{}上更优。组件与模块消融实验显示,性能提升主要源于分离编辑注入与路径外抑制,而非简单地增加LoRA容量。

0
下载
关闭预览

相关内容

ICML2026 | 重新思考顺序知识编辑中的正则化
专知会员服务
9+阅读 · 5月27日
专知会员服务
44+阅读 · 2021年7月6日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
论文浅尝 | 基于Universal Schema与Memory Network的知识+文本问答
注意力机制(Attention)最新综述论文及相关源码
人工智能学家
30+阅读 · 2018年11月17日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
ICML2026 | 重新思考顺序知识编辑中的正则化
专知会员服务
9+阅读 · 5月27日
专知会员服务
44+阅读 · 2021年7月6日
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员