Shapley values have become a cornerstone of explainable AI, but they are computationally expensive to use, especially when features are dependent. Evaluating them requires approximating a large number of conditional expectations, either via Monte Carlo integration or regression. Until recently it has not been possible to fully exploit deep learning for the regression approach, because retraining for each conditional expectation takes too long. Tabular foundation models such as TabPFN overcome this computational hurdle by leveraging in-context learning, so each conditional expectation can be approximated without any re-training. In this paper, we compute Shapley values with multiple variants of TabPFN and compare their performance with state-of-the-art methods on both simulated and real datasets. In most cases, TabPFN yields the best performance; where it does not, it is only marginally worse than the best method, at a fraction of the runtime. We discuss further improvements and how tabular foundation models can be better adapted specifically for conditional Shapley value estimation.


翻译:Shapley值已成为可解释人工智能的基石,但其计算成本高昂,尤其在特征存在依赖关系时更为显著。评估Shapley值需要通过蒙特卡洛积分或回归方法近似大量条件期望。由于针对每个条件期望重新训练模型耗时过长,回归方法长期未能充分利用深度学习优势。以TabPFN为代表的表格基础模型通过情境学习机制突破了这一计算瓶颈,使得每个条件期望的近似计算无需任何重新训练。本文采用多种TabPFN变体计算Shapley值,并在模拟数据集和真实数据集上与前沿方法进行性能对比。在大多数情况下,TabPFN展现出最优性能;即使在少数未达到最优的情况下,其性能也仅略逊于最佳方法,而运行时间却大幅缩短。我们进一步探讨了改进方向,以及如何使表格基础模型更好地适配条件Shapley值估计任务。

0
下载
关闭预览

相关内容

【斯坦福博士论文】基础模型的数据分布视角,321页pdf
专知会员服务
42+阅读 · 2024年7月8日
【NUS博士论文】深度表示学习的视频基础模型,236页pdf
专知会员服务
33+阅读 · 2023年12月26日
基于表格数据的深度学习方法
专知会员服务
40+阅读 · 2021年10月19日
专知会员服务
19+阅读 · 2021年7月11日
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
从泰勒展开来看梯度下降算法
深度学习每日摘要
13+阅读 · 2019年4月9日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
从示例中理解SVM算法(附代码)
论智
10+阅读 · 2018年5月10日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月10日
Arxiv
0+阅读 · 2月6日
Arxiv
0+阅读 · 2月1日
Arxiv
0+阅读 · 1月20日
VIP会员
相关资讯
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员