Concept Bottleneck Models (CBMs) aim to improve interpretability in Deep Learning by structuring predictions through human-understandable concepts, but they provide no way to verify whether learned concepts align with the human's intended meaning, hurting interpretability. We introduce Prototype-Grounded Concept Models (PGCMs), which ground concepts in learned visual prototypes: image parts that serve as explicit evidence for the concepts. This grounding enables direct inspection of concept semantics and supports targeted human intervention at the prototype level to correct misalignments. Empirically, PGCMs achieve similar predictive performance as state-of-the-art CBMs while substantially improving transparency, interpretability, and intervenability.


翻译:概念瓶颈模型(CBM)旨在通过可理解的人类概念构建预测结构来提升深度学习的可解释性,但这类方法无法验证所学概念是否与人类意图一致,从而削弱了解释效果。我们提出原型锚定概念模型(PGCM),通过可学习的视觉原型(作为概念显式证据的图像片段)锚定概念。这种锚定机制支持概念语义的直接检查,并允许在原型层面进行针对性的人工干预以修正对齐偏差。实验表明,PGCM在保持与最优CBM相当的预测性能的同时,显著提升了透明度、可解释性及可干预性。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
可解释的机器学习模型和架构
专知会员服务
93+阅读 · 2023年9月17日
贝叶斯迁移学习: 迁移学习的概率图模型概述
专知会员服务
70+阅读 · 2021年10月17日
【2021新书】概率图模型:原理与应用,370页pdf
专知会员服务
239+阅读 · 2021年5月26日
【哥伦比亚大学博士论文】深度概率图建模147页pdf
专知会员服务
90+阅读 · 2021年4月27日
基于模型系统的系统设计
科技导报
10+阅读 · 2019年4月25日
使用 Bert 预训练模型文本分类(内附源码)
数据库开发
102+阅读 · 2019年3月12日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
最新内容
《多域冲突比较支持模型》60页
专知会员服务
4+阅读 · 今天4:35
面向2027年及未来的海军情报改革
专知会员服务
4+阅读 · 8月5日
相关VIP内容
可解释的机器学习模型和架构
专知会员服务
93+阅读 · 2023年9月17日
贝叶斯迁移学习: 迁移学习的概率图模型概述
专知会员服务
70+阅读 · 2021年10月17日
【2021新书】概率图模型:原理与应用,370页pdf
专知会员服务
239+阅读 · 2021年5月26日
【哥伦比亚大学博士论文】深度概率图建模147页pdf
专知会员服务
90+阅读 · 2021年4月27日
相关资讯
基于模型系统的系统设计
科技导报
10+阅读 · 2019年4月25日
使用 Bert 预训练模型文本分类(内附源码)
数据库开发
102+阅读 · 2019年3月12日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员