While Explainable AI (XAI) helps users understand AI decisions, misalignment in domain knowledge can lead to disagreement. This inconsistency hinders understanding, and because explanations are often read-only, users lack the control to improve alignment. We propose making XAI editable, allowing users to write rules to improve control and gain deeper understanding through the generation effect of active learning. We developed CoExplain, leveraging a neural network for universal representation and symbolic rules for intuitive reasoning on interpretable attributes. CoExplain explains the neural network with a faithful proxy decision tree, parses user-written rules as an equivalent neural network graph, and collaboratively optimizes the decision tree. In a user study (N=43), CoExplain and manually editable XAI improved user understanding and model alignment compared to read-only XAI. CoExplain was easier to use with fewer edits and less time. This work contributes Editable XAI for bidirectional AI alignment, improving understanding and control.


翻译:尽管可解释人工智能(XAI)能帮助用户理解AI决策,但领域知识的不对齐可能导致认知分歧。这种不一致性会阻碍理解过程,且由于解释通常为只读形式,用户缺乏改善对齐的控制能力。我们提出使XAI具备可编辑性,允许用户通过编写规则来增强控制,并借助主动学习的生成效应获得更深层次的理解。我们开发了CoExplain系统,该系统利用神经网络实现通用表征,并采用符号规则对可解释属性进行直观推理。CoExplain通过忠实代理决策树解释神经网络,将用户编写的规则解析为等效的神经网络计算图,并协同优化决策树结构。在用户研究(N=43)中,相较于只读式XAI,CoExplain与手动可编辑XAI均显著提升了用户理解度与模型对齐度。CoExplain以更少的编辑次数和更短的时间成本展现出更优的易用性。本研究提出的可编辑XAI为实现双向AI对齐提供了新范式,有效提升了理解效能与控制能力。

0
下载
关闭预览

相关内容

可解释人工智能(XAI):从内在可解释性到大语言模型
专知会员服务
33+阅读 · 2025年1月20日
金融时间序列预测中的可解释人工智能(XAI)综述
专知会员服务
44+阅读 · 2024年7月25日
人工智能(XAI)可解释性的研究进展!
专知会员服务
33+阅读 · 2024年6月12日
【干货书】可解释人工智能(xAI)方法和深度元学习模型
专知会员服务
62+阅读 · 2020年9月13日
【Science最新论文】XAI—可解释人工智能简述,机遇与挑战
专知会员服务
165+阅读 · 2019年12月21日
可解释AI(XAI)工具集—DrWhy
专知
25+阅读 · 2019年6月4日
【资源推荐】AI可解释性资源汇总
专知
47+阅读 · 2019年4月24日
机器学习可解释性工具箱XAI
专知
11+阅读 · 2019年2月8日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月27日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员