Shapley values, a gold standard for feature attribution in Explainable AI, face two key challenges. First, the canonical Shapley framework assumes that the worth function is additive, yet real-world payoff constructions--driven by non-Gaussian distributions, heavy tails, feature dependence, or domain-specific loss scales--often violate this assumption, leading to distorted attributions. Second, achieving sparse explanations in high-dimensional settings by computing dense Shapley values and then applying ad hoc thresholding is costly and risks inconsistency. We introduce Sparse Isotonic Shapley Regression (SISR), a unified nonlinear explanation framework. SISR simultaneously learns a monotonic transformation to restore additivity--obviating the need for a closed-form specification--and enforces an L0 sparsity constraint on the Shapley vector, enhancing computational efficiency in large feature spaces. Its optimization algorithm leverages Pool-Adjacent-Violators for efficient isotonic regression and normalized hard-thresholding for support selection, ensuring ease in implementation and global convergence guarantees. Analysis shows that SISR recovers the true transformation in a wide range of scenarios and achieves strong support recovery even in high noise. Moreover, we are the first to demonstrate that irrelevant features and inter-feature dependencies can induce a true payoff transformation that deviates substantially from linearity. Extensive experiments demonstrate that SISR stabilizes attributions across payoff schemes and correctly filters irrelevant features; in contrast, standard Shapley values suffer severe rank and sign distortions. By unifying nonlinear transformation estimation with sparsity pursuit, SISR advances the frontier of nonlinear explainability, providing a theoretically grounded and practical attribution framework.


翻译:Shapley值作为可解释人工智能中特征归因的黄金标准,面临两大挑战。其一,经典Shapley框架假设价值函数具有可加性,然而现实场景中的收益构造——受非高斯分布、重尾特征、特征依赖性或领域特定损失尺度驱动——常违背该假设,导致归因结果失真。其二,在高维场景中通过计算稠密Shapley值再进行临时阈值处理来获得稀疏解释的方法成本高昂且存在不一致风险。本文提出稀疏保序Shapley回归(SISR),一种统一的非线性解释框架。SISR同步学习单调变换以恢复可加性——无需封闭形式设定——并对Shapley向量施加L0稀疏约束,提升大特征空间中的计算效率。其优化算法结合相邻池化校正器实现高效保序回归,采用归一化硬阈值进行支撑集选择,确保易实现性与全局收敛保证。理论分析表明SISR能在广泛场景中恢复真实变换,并在高噪声环境下实现强支撑集恢复。此外,我们首次证明无关特征与特征间依赖关系可能诱导显著偏离线性的真实收益变换。大量实验验证SISR能在不同收益方案中稳定归因结果并正确过滤无关特征;相比之下,标准Shapley值则出现严重的排序与符号失真。通过将非线性变换估计与稀疏性追求相统一,SISR推动了非线性可解释性研究前沿,提供了理论严谨且实用的归因框架。

0
下载
关闭预览

相关内容

【CMU博士论文】迈向可解释机器学习的理论基础
专知会员服务
13+阅读 · 4月16日
《可解释深度强化学习综述》
专知会员服务
40+阅读 · 2025年2月12日
【NeurIPS2024】用于缺失值数据集的可解释广义加性模型
专知会员服务
18+阅读 · 2024年12月7日
机器学习的可解释性
专知会员服务
179+阅读 · 2020年8月27日
深度学习可解释性研究进展
专知会员服务
103+阅读 · 2020年6月26日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
「强化学习可解释性」最新2022综述
专知
12+阅读 · 2022年1月16日
深度学习模型可解释性的研究进展
专知
26+阅读 · 2020年8月1日
深度学习可解释性研究进展
专知
19+阅读 · 2020年6月26日
神经网络可解释性最新进展
专知
18+阅读 · 2018年3月10日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月1日
VIP会员
最新内容
《新兴技术武器化及其对全球风险的影响》
专知会员服务
8+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
20+阅读 · 4月29日
智能体化世界建模:基础、能力、规律及展望
专知会员服务
11+阅读 · 4月28日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员