Modern data often arises with multiple modalities. For example, covariates and a network are observed on the same subjects, and both contain useful information. Effectively integrating these modalities is important and challenging, especially when the response is unavailable. We study the fundamental covariate selection problem for high-dimensional data by leveraging network information. We propose the Network-Guided Covariate Selection (NGCS) algorithm. NGCS exploits the spectral structure of the network to construct a network-guided screening statistic, and employs data-driven Higher Criticism Thresholding for covariate recovery. We establish consistency guarantees for NGCS under general networks. In particular, under two commonly used network models, we relate the projected signal strength to the individual signal strength, and demonstrate that NGCS is optimal for covariate selection. It could achieve the same rate as supervised learning. We further consider a two-study setting for downstream applications, where the network is observed only in Study 1. For clustering and regression, we propose NG-clu and NG-reg algorithms. NG-clu accurately clusters all subjects, while NG-reg improves prediction by using the post-selection covariate matrix. Experiments on synthetic and real datasets demonstrate the robustness and superior performance of our algorithms across various network models, noise distributions, and signal strengths.


翻译:现代数据常呈现多模态特征。例如,同一组受试者同时观测到协变量与网络数据,二者均蕴含有效信息。有效整合这些模态至关重要且具有挑战性,尤其在响应变量缺失的情况下。本研究通过利用网络信息,探讨高维数据中的基础协变量选择问题。我们提出网络引导协变量选择(NGCS)算法。NGCS利用网络谱结构构建网络引导筛选统计量,并采用数据驱动的高阶批评阈值法实现协变量恢复。我们在通用网络模型下为NGCS建立了收敛性保证。特别地,针对两种常用网络模型,我们将投影信号强度与个体信号强度相关联,证明NGCS在协变量选择中具有最优性,其收敛速率可与监督学习方法持平。进一步地,我们考虑下游应用中的双研究场景,其中网络数据仅在研究1中可观测。针对聚类与回归任务,我们提出NG-clu与NG-reg算法。NG-clu能精确聚类所有受试者,而NG-reg通过使用后选择协变量矩阵提升预测性能。在合成与真实数据集上的实验表明,我们的算法在不同网络模型、噪声分布及信号强度下均具有鲁棒性与优越性能。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
24+阅读 · 2023年5月10日
【AAAI2023】面向领域自适应语义分割的几何感知网络
专知会员服务
21+阅读 · 2022年12月7日
AAAI 2022 | ProtGNN:自解释图神经网络
专知会员服务
40+阅读 · 2022年2月28日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
20+阅读 · 2021年12月18日
专知会员服务
28+阅读 · 2021年9月10日
【CVPR 2021】变换器跟踪TransT: Transformer Tracking
专知会员服务
22+阅读 · 2021年4月20日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
27+阅读 · 2020年11月14日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
误差反向传播——CNN
统计学习与视觉计算组
31+阅读 · 2018年7月12日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2025年12月31日
VIP会员
相关VIP内容
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
24+阅读 · 2023年5月10日
【AAAI2023】面向领域自适应语义分割的几何感知网络
专知会员服务
21+阅读 · 2022年12月7日
AAAI 2022 | ProtGNN:自解释图神经网络
专知会员服务
40+阅读 · 2022年2月28日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
20+阅读 · 2021年12月18日
专知会员服务
28+阅读 · 2021年9月10日
【CVPR 2021】变换器跟踪TransT: Transformer Tracking
专知会员服务
22+阅读 · 2021年4月20日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
27+阅读 · 2020年11月14日
相关资讯
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
误差反向传播——CNN
统计学习与视觉计算组
31+阅读 · 2018年7月12日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员