Stability Selection resamples the observations but leaves the design untouched, so it cannot reject an irrelevant feature that is correlated with the relevant ones in a way that violates the irrepresentable condition. Such a feature (a ``confounder'') is selected in a substantial fraction of resamples, and the exchangeability behind the false-positive bound of Stability Selection fails. We propose 2D Stability Selection (2D-SS), which aggregates selection frequencies over half-samples and over a grid of injected design noise, and reduces to Stability Selection at zero noise. Because input noise acts, in expectation, as Tikhonov regularisation, a jittered Lasso fit is a noisy elastic net whose support recovery is governed by a noise-indexed irrepresentable condition. Jittering can therefore repair designs in which confounders violate the Lasso condition, although it can also hurt. We give the noise level at which a violated feature's statistic vanishes (for uncorrelated relevant features), exact-recovery guarantees for a single fit, conditions under which aggregation over noise levels recovers the support, and a complementary-pairs bound on the expected number of false positives, carried over from Stability Selection to the noise-aggregated procedure, for a fixed threshold or a size-matched selector. The procedure takes no measurement-error covariance as input, although the guarantees assume i.i.d.\ Gaussian measurement error. In simulations 2D-SS excludes confounders that Stability Selection includes, and its size-matched version stays below the nominal closed-form false-positive bound in all 240 simulated cells, whereas Stability Selection exceeds it in 21; it does not generally improve on Stability Selection in $F_1$ and is lower at low noise. It is useful when stable but wrong selections are the concern.


翻译:暂无翻译

0
下载
关闭预览

相关内容

【NeurIPS2022】图谱视角下的图对比学习
专知会员服务
27+阅读 · 2022年10月9日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
论文荐读:理解图表示学习中的负采样
学术头条
29+阅读 · 2020年5月29日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
综述:Image Caption 任务之语句多样性
PaperWeekly
22+阅读 · 2018年11月30日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Generative Adversarial Text to Image Synthesis论文解读
统计学习与视觉计算组
13+阅读 · 2017年6月9日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《面向国防领域的大语言模型基准测试与适配》
专知会员服务
17+阅读 · 10月28日
世界模型入门:从序贯决策到通用智能体
专知会员服务
18+阅读 · 10月24日
相关VIP内容
【NeurIPS2022】图谱视角下的图对比学习
专知会员服务
27+阅读 · 2022年10月9日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员