Concept Bottleneck Models (CBMs) improve the explainability of black-box Deep Learning (DL) by introducing intermediate semantic concepts. However, standard CBMs often overlook domain-specific relationships and causal mechanisms, and their dependence on complete concept labels limits applicability in scientific domains where supervision is sparse but processes are well defined. To address this, we propose the Process-Guided Concept Bottleneck Model (PG-CBM), an extension of CBMs which constrains learning to follow domain-defined causal mechanisms through biophysically meaningful intermediate concepts. Using above ground biomass density estimation from Earth Observation data as a case study, we show that PG-CBM reduces error and bias compared to multiple benchmarks, whilst leveraging multi-source heterogeneous training data and producing interpretable intermediate outputs. Beyond improved accuracy, PG-CBM enhances transparency, enables detection of spurious learning, and provides scientific insights, representing a step toward more trustworthy AI systems in scientific applications.


翻译:概念瓶颈模型(CBMs)通过引入中间语义概念来提升黑箱深度学习(DL)的可解释性。然而,标准CBMs常常忽视特定领域的关系与因果机制,且其对完整概念标签的依赖限制了其在监督稀疏但过程定义明确的科学领域的适用性。为解决这一问题,我们提出了过程引导概念瓶颈模型(PG-CBM),这是CBMs的一种扩展,它通过具有生物物理意义的中间概念,将学习过程约束为遵循领域定义的因果机制。以基于地球观测数据的地上生物量密度估算为案例研究,我们证明PG-CBM在利用多源异构训练数据并生成可解释中间输出的同时,与多个基准模型相比,降低了误差与偏差。除了提升准确性外,PG-CBM增强了透明度,能够检测虚假学习,并提供科学洞见,代表了科学应用中迈向更可信赖AI系统的一步。

0
下载
关闭预览

相关内容

Pacific Graphics是亚洲图形协会的旗舰会议。作为一个非常成功的会议系列,太平洋图形公司为太平洋沿岸以及世界各地的研究人员,开发人员,从业人员提供了一个高级论坛,以介绍和讨论计算机图形学及相关领域的新问题,解决方案和技术。太平洋图形会议的目的是召集来自各个领域的研究人员,以展示他们的最新成果,开展合作并为研究领域的发展做出贡献。会议将包括定期的论文讨论会,进行中的讨论会,教程以及由与计算机图形学和交互系统相关的所有领域的国际知名演讲者的演讲。 官网地址:http://dblp.uni-trier.de/db/conf/pg/index.html
大型语言模型的规模效应局限
专知会员服务
14+阅读 · 2025年11月18日
【阿里千问】在数学推理中开发过程奖励模型的经验教训
【ICML2024】理解大型语言模型在规划中的作用,138页pdf
专知会员服务
49+阅读 · 2024年7月24日
【ICML2020】基于模型的强化学习方法教程,279页ppt
专知会员服务
129+阅读 · 2020年7月20日
基于模型系统的系统设计
科技导报
10+阅读 · 2019年4月25日
从信息瓶颈理论一瞥机器学习的“大一统理论”
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
tensorflow系列笔记:流程,概念和代码解析
北京思腾合力科技有限公司
30+阅读 · 2017年11月11日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2月3日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员