Knowledge editing methods for large language models are commonly evaluated using predefined benchmarks that assess edited facts together with a limited set of related or neighboring knowledge. While effective, such evaluations remain confined to finite, dataset-bounded samples, leaving the broader impact of editing on the model's knowledge system insufficiently understood. To address this gap, we introduce Embedding-Virtualized Knowledge (EVK) that characterizes model knowledge through controlled perturbations in embedding space, enabling the exploration of a substantially broader and virtualized knowledge region beyond explicit data annotations. Based on EVK, we construct an embedding-level evaluation benchmark EVK-Bench that quantifies potential knowledge drift induced by editing, revealing effects that are not captured by conventional sample-based metrics. Furthermore, we propose a plug-and-play EVK-Align module that constrains embedding-level knowledge drift during editing and can be seamlessly integrated into existing editing methods. Experiments demonstrate that our approach enables more comprehensive evaluation while significantly improving knowledge preservation without sacrificing editing accuracy.


翻译:大型语言模型的知识编辑方法通常通过预定义基准进行评估,这些基准在评估已编辑事实的同时,仅涉及有限的相关或邻近知识集。虽然这类评估方法有效,但其仍局限于有限的、数据集约束的样本,导致编辑对模型知识体系的广泛影响未能得到充分理解。为弥补这一不足,我们提出了嵌入虚拟化知识方法,该方法通过在嵌入空间实施受控扰动来表征模型知识,从而能够探索远超显式数据标注范围的、更广泛且虚拟化的知识区域。基于EVK,我们构建了嵌入层面的评估基准EVK-Bench,用以量化编辑可能引发的知识漂移,揭示传统基于样本的度量方法无法捕捉的潜在影响。此外,我们提出了一种即插即用的EVK-Align模块,该模块能在编辑过程中约束嵌入层面的知识漂移,并可无缝集成到现有编辑方法中。实验表明,我们的方法在实现更全面评估的同时,能够在不牺牲编辑准确性的前提下显著提升知识保存效果。

0
下载
关闭预览

相关内容

大模型推理时代的知识编辑
专知会员服务
30+阅读 · 2025年12月22日
【NeurIPS2024】迈向统一的多模态编辑与增强的知识协作
专知会员服务
20+阅读 · 2024年10月1日
【COLING教程】大型语言模型的知识编辑,193页ppt
专知会员服务
42+阅读 · 2024年5月30日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
基于知识图谱的文本挖掘 - 超越文本挖掘
专知
40+阅读 · 2019年8月18日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员