Concept Bottleneck Models (CBMs) have garnered much attention for their ability to elucidate the prediction process through a human-understandable concept layer. However, most previous studies focused on static scenarios where the data and concepts are assumed to be fixed and clean. In real-world applications, deployed models require continuous maintenance: we often need to remove erroneous or sensitive data (unlearning), correct mislabeled concepts, or incorporate newly acquired samples (incremental learning) to adapt to evolving environments. Thus, deriving efficient editable CBMs without retraining from scratch remains a significant challenge, particularly in large-scale applications. To address these challenges, we propose Controllable Concept Bottleneck Models (CCBMs). Specifically, CCBMs support three granularities of model editing: concept-label-level, concept-level, and data-level, the latter of which encompasses both data removal and data addition. CCBMs enjoy mathematically rigorous closed-form approximations derived from influence functions that obviate the need for retraining. Experimental results demonstrate the efficiency and adaptability of our CCBMs, affirming their practical value in enabling dynamic and trustworthy CBMs.


翻译:概念瓶颈模型(CBMs)因其能够通过人类可理解的概念层阐明预测过程而备受关注。然而,先前大多数研究集中于静态场景,即假设数据和概念是固定且干净的。在实际应用中,已部署的模型需要持续维护:我们经常需要移除错误或敏感数据(遗忘学习)、修正错误标注的概念,或纳入新获取的样本(增量学习)以适应不断变化的环境。因此,在不从头重新训练的情况下,推导出高效可编辑的CBMs仍然是一个重大挑战,尤其是在大规模应用中。为应对这些挑战,我们提出了可控概念瓶颈模型(CCBMs)。具体而言,CCBMs支持三种粒度的模型编辑:概念-标签级、概念级和数据级,其中数据级编辑涵盖数据移除与数据添加。CCBMs基于影响函数推导出数学上严格的闭式近似,从而避免了重新训练的需要。实验结果证明了我们CCBMs的高效性和适应性,肯定了其在实现动态且可信赖的CBMs方面的实用价值。

0
下载
关闭预览

相关内容

【WSDM2024】DiffKG:面向推荐的知识图谱扩散模型
专知会员服务
28+阅读 · 2024年1月17日
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
38+阅读 · 2022年10月4日
专知会员服务
112+阅读 · 2020年6月26日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月6日
Arxiv
0+阅读 · 2025年12月31日
VIP会员
相关VIP内容
【WSDM2024】DiffKG:面向推荐的知识图谱扩散模型
专知会员服务
28+阅读 · 2024年1月17日
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
38+阅读 · 2022年10月4日
专知会员服务
112+阅读 · 2020年6月26日
相关论文
Arxiv
0+阅读 · 1月6日
Arxiv
0+阅读 · 2025年12月31日
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员