Challenges persist in providing interpretable explanations for neural network reasoning in explainable AI (xAI). Existing methods like Integrated Gradients produce noisy maps, and LIME, while intuitive, may deviate from the model's reasoning. We introduce a framework that uses hierarchical segmentation techniques for faithful and interpretable explanations of Convolutional Neural Networks (CNNs). Our method constructs model-based hierarchical segmentations that maintain the model's reasoning fidelity and allows both human-centric and model-centric segmentation. This approach offers multiscale explanations, aiding bias identification and enhancing understanding of neural network decision-making. Experiments show that our framework, xAiTrees, delivers highly interpretable and faithful model explanations, not only surpassing traditional xAI methods but shedding new light on a novel approach to enhancing xAI interpretability.


翻译:在可解释人工智能(xAI)领域,为神经网络的推理过程提供可解释性说明仍面临诸多挑战。现有方法如积分梯度法生成的归因图存在噪声干扰,而LIME方法虽直观易懂,却可能偏离模型的实际推理逻辑。本文提出一种利用层次化分割技术为卷积神经网络(CNN)提供忠实且可解释的说明框架。该方法构建基于模型的层次化分割体系,在保持模型推理保真度的同时,支持以人为中心和以模型为中心的分割方式。该框架能提供多尺度解释,有助于识别模型偏差并深化对神经网络决策机制的理解。实验表明,我们提出的xAiTrees框架能够生成高度可解释且忠实于模型的说明,不仅超越了传统xAI方法,更为提升xAI可解释性开辟了新的研究路径。

0
下载
关闭预览

相关内容

卷积神经网络的可解释性研究综述
专知会员服务
90+阅读 · 2023年6月5日
专知会员服务
81+阅读 · 2020年8月4日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
深入卷积神经网络背后的数学原理
人工智能学家
10+阅读 · 2019年4月26日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
专栏 | 浅析图卷积神经网络
机器之心
28+阅读 · 2018年7月4日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Arxiv
0+阅读 · 1月31日
VIP会员
相关资讯
深入卷积神经网络背后的数学原理
人工智能学家
10+阅读 · 2019年4月26日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
专栏 | 浅析图卷积神经网络
机器之心
28+阅读 · 2018年7月4日
【CNN】一文读懂卷积神经网络CNN
产业智能官
18+阅读 · 2018年1月2日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员