Generalized Additive Models (GAMs) are commonly considered *interpretable* within the ML community, as their structure makes the relationship between inputs and outputs relatively understandable. Therefore, it may seem natural to hypothesize that obtaining meaningful explanations for GAMs could be performed efficiently and would not be computationally infeasible. In this work, we challenge this hypothesis by analyzing the *computational complexity* of generating different explanations for various forms of GAMs across multiple contexts. Our analysis reveals a surprisingly diverse landscape of both positive and negative complexity outcomes. Particularly, under standard complexity assumptions such as P!=NP, we establish several key findings: (1) in stark contrast to many other common ML models, the complexity of generating explanations for GAMs is heavily influenced by the structure of the input space; (2) the complexity of explaining GAMs varies significantly with the types of component models used - but interestingly, these differences only emerge under specific input domain settings; (3) significant complexity distinctions appear for obtaining explanations in regression tasks versus classification tasks in GAMs; and (4) expressing complex models like neural networks additively (e.g., as neural additive models) can make them easier to explain, though interestingly, this benefit appears only for certain explanation methods and input domains. Collectively, these results shed light on the feasibility of computing diverse explanations for GAMs, offering a rigorous theoretical picture of the conditions under which such computations are possible or provably hard.


翻译:广义可加性模型(GAMs)在机器学习领域通常被认为是*可解释的*,因为其结构使得输入与输出之间的关系相对易于理解。因此,一个自然的假设可能是:为GAMs生成有意义的解释可以高效完成,且在计算上是可行的。本研究通过分析在不同情境下为各类GAMs生成不同解释的*计算复杂性*,对这一假设提出了挑战。我们的分析揭示了一个令人惊讶的多样性图景,既包含正面的复杂性结果,也包含负面的复杂性结果。特别是在P!=NP等标准复杂性假设下,我们确立了若干关键发现:(1)与许多其他常见的机器学习模型形成鲜明对比,为GAMs生成解释的复杂性受输入空间结构的显著影响;(2)解释GAMs的复杂性随所用组件模型的类型而显著变化——但有趣的是,这些差异仅在特定的输入域设置下才会显现;(3)在GAMs中,为回归任务与分类任务获取解释存在显著的复杂性差异;(4)将神经网络等复杂模型以可加形式表达(例如作为神经可加模型)可以使其更易于解释,但有趣的是,这一优势仅对某些解释方法和特定输入域才显现。总体而言,这些结果阐明了为GAMs计算多样化解释的可行性,为理解此类计算在何种条件下可能实现或可证明困难提供了严格的理论图景。

0
下载
关闭预览

相关内容

可解释人工智能的基础
专知会员服务
32+阅读 · 2025年10月26日
视觉基础模型的可解释性:综述
专知会员服务
26+阅读 · 2025年1月24日
可解释的机器学习模型和架构
专知会员服务
92+阅读 · 2023年9月17日
机器学习的可解释性
专知会员服务
69+阅读 · 2020年12月18日
「强化学习可解释性」最新2022综述
专知
12+阅读 · 2022年1月16日
深度学习可解释性研究进展
专知
19+阅读 · 2020年6月26日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
机器学习模型的“可解释性”到底有多重要?
中国科学院自动化研究所
20+阅读 · 2018年3月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月19日
Arxiv
0+阅读 · 1月20日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员