Saliency map visualizations explain image-based AI predictions by pointing to regions, but these are often unintuitive and semantically unclear, leaving an interpretability gap. We argue that AI explanations should be intuitive -- coherent to user knowledge, yet simple and selective to accelerate interpretation. Inspired by artistic drawings, we propose SketchXplain to generate sketch-based visual explanations for intuitive image-based explainable AI (XAI). Combining techniques in saliency maps, concept-bottleneck models, and sketch optimization, SketchXplain integrates saliency to select coherent observation artifacts, concepts for knowledge coherence, cues to represent them, and abstraction for simplicity. Evaluating on face expression recognition, modeling and user studies showed that SketchXplain supported quicker interpretation with more aligned visualizations than saliency maps or simple drawings. Further evaluation on skin lesion diagnosis found that SketchXplain more coherently visualized disease symptoms, better supporting lay diagnosis. Thus, this work illustrates the value of sketches for intuitive, simple, coherent, and quick image-based XAI visualizations.


翻译:显著性图可视化通过指向区域来解释基于图像的AI预测,但这些区域通常不够直观且语义不明确,从而留下了解释性鸿沟。我们主张AI解释应当直观——与用户知识保持一致,同时简洁且具有选择性以加速理解。受艺术绘画启发,我们提出SketchXplain,用于生成基于草图的视觉解释,以实现直观的基于图像的可解释AI。通过结合显著性图、概念瓶颈模型和草图优化等技术,SketchXplain整合了用于选择连贯观察伪影的显著性、用于知识一致性的概念、用于表征这些概念的线索以及用于简洁性的抽象。在面部表情识别上的评估、建模和用户研究表明,与显著性图或简单绘图相比,SketchXplain能够支持更快速的解释,并生成更一致的视觉化结果。在皮肤病变诊断上的进一步评估发现,SketchXplain能够更连贯地可视化疾病症状,更好地支持非专业人员的诊断。因此,本工作展示了草图在实现直观、简洁、一致且快速的基于图像的可解释AI可视化中的价值。

0
下载
关闭预览

相关内容

【博士论文】解释大型视觉模型方面的进展
专知会员服务
27+阅读 · 2025年2月7日
视觉基础模型的可解释性:综述
专知会员服务
26+阅读 · 2025年1月24日
专知会员服务
22+阅读 · 2021年8月23日
干货 | 图像分割概述 & ENet 实例
AI科技评论
22+阅读 · 2019年2月24日
图像分割概述 & ENet 实例
AI研习社
14+阅读 · 2019年2月19日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
【博士论文】解释大型视觉模型方面的进展
专知会员服务
27+阅读 · 2025年2月7日
视觉基础模型的可解释性:综述
专知会员服务
26+阅读 · 2025年1月24日
专知会员服务
22+阅读 · 2021年8月23日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员