Explainable AI (XAI) research has experienced substantial growth in recent years. Existing XAI methods, however, have been criticized for being technical and expert-oriented, motivating the development of more interpretable and accessible explanations. In response, large language model (LLM)-generated XAI narratives have been proposed as a promising approach for translating post-hoc explanations into more accessible, natural-language explanations. In this work, we propose a multi-agent framework for XAI narrative generation and refinement. The framework comprises the Narrator, which generates and revises narratives based on feedback from multiple Critic Agents on faithfulness and coherence metrics, thereby enabling narrative improvement through iteration. We design five agentic systems (Basic Design, Critic Design, Critic-Rule Design, Coherent Design, and Coherent-Rule Design) and systematically evaluate their effectiveness across five LLMs on five tabular datasets. Results validate that the Basic Design, the Critic Design, and the Critic-Rule Design are effective in improving the faithfulness of narratives across all LLMs. Claude-4.5-Sonnet on Basic Design performs best, reducing the number of unfaithful narratives by 90% after three rounds of iteration. To address recurrent issues, we further introduce an ensemble strategy based on majority voting. This approach consistently enhances performance for four LLMs, except for DeepSeek-V3.2-Exp. These findings highlight the potential of agentic systems to produce faithful and coherent XAI narratives.


翻译:可解释人工智能(XAI)研究近年来取得了显著增长。然而,现有XAI方法因技术性强且面向专家而受到批评,这促使了更具可解释性和可理解性的解释方法的开发。作为回应,大语言模型(LLM)生成的XAI叙事被提出作为一种有前景的方法,用于将事后解释转化为更易理解的自然语言解释。在本工作中,我们提出了一种用于XAI叙事生成与优化的多智能体框架。该框架包含叙述者(Narrator),它基于多个评论智能体(Critic Agents)在忠实性和连贯性指标上的反馈生成并修订叙事,从而通过迭代实现叙事改进。我们设计了五种智能体系统(基础设计、评论设计、评论-规则设计、连贯设计、连贯-规则设计),并在五个表格数据集上对五个LLM系统地评估了它们的有效性。结果表明,基础设计、评论设计和评论-规则设计能有效提升所有LLM生成叙事的忠实性。在基础设计上使用Claude-4.5-Sonnet表现最佳,经过三轮迭代后,不忠实叙事数量减少了90%。针对反复出现的问题,我们进一步引入了一种基于多数投票的集成策略。该策略对除DeepSeek-V3.2-Exp外的四个LLM均能持续提升性能。这些发现凸显了智能体系统在生成忠实且连贯的XAI叙事方面的潜力。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
可解释人工智能中的大语言模型:全面综述
专知会员服务
54+阅读 · 2025年4月2日
可解释人工智能(XAI):从内在可解释性到大语言模型
专知会员服务
34+阅读 · 2025年1月20日
人工智能(XAI)可解释性的研究进展!
专知会员服务
33+阅读 · 2024年6月12日
可解释生成人工智能 (GenXAI):综述、概念化与研究议程
专知会员服务
39+阅读 · 2024年4月19日
【干货书】可解释人工智能(xAI)方法和深度元学习模型
专知会员服务
62+阅读 · 2020年9月13日
最新《可解释人工智能》概述,50页ppt
专知
12+阅读 · 2021年3月17日
可解释AI(XAI)工具集—DrWhy
专知
25+阅读 · 2019年6月4日
【资源推荐】AI可解释性资源汇总
专知
47+阅读 · 2019年4月24日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Arxiv
11+阅读 · 2023年8月28日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
4+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员