Neural networks are hypothesized to implement interpretable causal mechanisms, yet verifying this requires finding a causal abstraction -- a simpler, high-level Structural Causal Model (SCM) faithful to the network under interventions. Discovering such abstractions is hard: it typically demands brute-force interchange interventions or retraining. We reframe the problem by viewing structured pruning as a search over approximate abstractions. Treating a trained network as a deterministic SCM, we derive an Interventional Risk objective whose second-order expansion yields closed-form criteria for replacing units with constants or folding them into neighbors. Under uniform curvature, our score reduces to activation variance, recovering variance-based pruning as a special case while clarifying when it fails. The resulting procedure efficiently extracts sparse, intervention-faithful abstractions from pretrained networks, which we validate via interchange interventions.


翻译:神经网络被假设为实现可解释的因果机制,但验证此假设需要寻找因果抽象——即在干预下与网络保持一致的更简洁高层结构因果模型。发现此类抽象具有挑战性:通常需要暴力交换干预或重新训练。本研究通过将结构化剪枝视为对近似抽象的搜索来重构该问题。将训练后的网络视为确定性结构因果模型,我们推导出干预风险目标函数,其二阶展开可产生用常数替换单元或将单元折叠至相邻单元的闭式判据。在均匀曲率条件下,该评分简化为激活方差,使基于方差的剪枝成为特例,同时明确了其失效场景。所提出的方法能够从预训练网络中高效提取稀疏且保持干预一致性的抽象,我们通过交换干预实验验证了其有效性。

0
下载
关闭预览

相关内容

【MIT博士论文】稀疏可训练神经网络
专知会员服务
39+阅读 · 2023年11月28日
因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
基于深度元学习的因果推断新方法
图与推荐
12+阅读 · 2020年7月21日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
大讲堂 | 神经关系抽取模型
AI研习社
24+阅读 · 2018年9月11日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
26+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2月19日
Arxiv
0+阅读 · 2月18日
VIP会员
相关VIP内容
【MIT博士论文】稀疏可训练神经网络
专知会员服务
39+阅读 · 2023年11月28日
因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
相关基金
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
26+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员