Complex networks are powerful representations of complex systems across scales and domains, and the field is experiencing unprecedented growth in data availability. However, real-world network data often suffer from noise, biases, and missing data in edge weights, which undermine the reliability of downstream network analyses. Standard noise filtering approaches, whether treating individual edges one-by-one or assuming a uniform global noise level, are suboptimal, because in reality both signal and noise can be heterogeneous and correlated across multiple edges. As a solution, we introduce the Network Wiener Filter, a principled method for collective edge-level noise filtering that leverages both network structure and noise characteristics, to reduce error in the observed edge weights and to infer missing edge weights. We demonstrate the broad practical efficacy of the Network Wiener Filter in two distinct settings, the genetic interaction network of the budding yeast S. cerevisiae and the Enron Corpus email network, noting compelling evidence of successful noise suppression in both applications. With the Network Wiener Filter, we advocate for a shift toward error-aware network science, one that embraces data imperfection as an inherent feature and learns to navigate it effectively.


翻译:复杂网络是跨尺度和跨领域复杂系统的有力表征,该领域正经历着前所未有的数据可用性增长。然而,现实世界中的网络数据常常受到噪声、偏差以及边权重数据缺失的影响,这削弱了下游网络分析的可靠性。标准的噪声过滤方法,无论是逐一处理单条边还是假设统一的全局噪声水平,都并非最优选择,因为在现实中信号和噪声都可能是异质的,并且可能在多条边之间存在相关性。作为解决方案,我们引入了网络维纳滤波器,这是一种基于原理的集体边级噪声过滤方法,它同时利用网络结构和噪声特性,以减少观测边权重中的误差并推断缺失的边权重。我们在两个不同的场景中展示了网络维纳滤波器的广泛实际效能,即芽殖酵母S. cerevisiae的遗传相互作用网络和安然公司电子邮件语料库网络,并在两个应用中均观察到了成功抑制噪声的有力证据。借助网络维纳滤波器,我们倡导向误差感知的网络科学转变,这种科学将数据缺陷视为固有特征,并学会有效地应对它。

0
下载
关闭预览

相关内容

人工智能时代下的复杂网络
专知会员服务
51+阅读 · 2024年8月6日
专知会员服务
43+阅读 · 2021年8月30日
专知会员服务
47+阅读 · 2020年11月13日
专知会员服务
101+阅读 · 2020年7月20日
异质信息网络分析与应用综述,软件学报-北京邮电大学
最新《动态网络嵌入》综述论文,25页pdf
专知
37+阅读 · 2020年6月17日
图像/视频去噪算法资源集锦
专知
19+阅读 · 2019年12月14日
近期声学领域前沿论文(No. 3)
深度学习每日摘要
24+阅读 · 2019年3月31日
论文浅尝 | 基于深度强化学习的远程监督数据集的降噪
开放知识图谱
29+阅读 · 2019年1月17日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月30日
Arxiv
0+阅读 · 1月15日
Arxiv
0+阅读 · 1月14日
VIP会员
相关资讯
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员