Complex networks are powerful representations of complex systems across scales and domains, and the field is experiencing unprecedented growth in data availability. However, real-world network data often suffer from noise, biases, and missing data in the edge weights, which undermine the reliability of downstream network analyses. Standard noise filtering approaches, whether treating individual edges one-by-one or assuming a uniform global noise level, are suboptimal, because in reality both signal and noise can be heterogeneous and correlated across multiple edges. As a solution, we introduce the Network Wiener Filter, a principled method for collective edge-level noise filtering that leverages both network topology and noise characteristics, to reduce error in the observed edge weights and to infer missing edge weights. We demonstrate the broad practical efficacy of the Network Wiener Filter in two distinct settings, the genetic interaction network of the yeast S. cerevisiae and the Enron Corpus email network, noting compelling evidence of successful noise suppression in both applications. With the Network Wiener Filter, we advocate for a shift toward error-aware network science, one that embraces data imperfection as an inherent feature and learns to navigate it effectively.


翻译:复杂网络是跨尺度、跨领域复杂系统的有力表征,该领域正经历着数据可用性的空前增长。然而,现实世界中的网络数据往往在边权重上存在噪声、偏差和缺失数据,这削弱了下游网络分析的可靠性。标准的噪声滤波方法——无论是逐一边处理还是假设全局均匀噪声水平——均非最优,因为实际上信号和噪声在多个边之间既可能具有异质性也可能存在相关性。作为解决方案,我们提出了网络维纳滤波器,这是一种基于原理的集体边级噪声滤波方法,它同时利用网络拓扑和噪声特性来减少观测边权重的误差并推断缺失的边权重。我们在两个不同场景中证明了网络维纳滤波器的广泛实用效能:酵母菌酿酒酵母的遗传相互作用网络和安然公司邮件网络,两个应用均显示出成功噪声抑制的有力证据。借助网络维纳滤波器,我们倡导向误差感知的网络科学转变——这种科学将数据缺陷视为固有特征,并学会有效地应对它。

0
下载
关闭预览

相关内容

人工智能时代下的复杂网络
专知会员服务
51+阅读 · 2024年8月6日
专知会员服务
43+阅读 · 2021年8月30日
专知会员服务
47+阅读 · 2020年11月13日
异质信息网络分析与应用综述,软件学报-北京邮电大学
综述 | 异质信息网络分析与应用综述
专知
27+阅读 · 2020年8月8日
图像/视频去噪算法资源集锦
专知
19+阅读 · 2019年12月14日
近期声学领域前沿论文(No. 3)
深度学习每日摘要
24+阅读 · 2019年3月31日
论文浅尝 | 基于深度强化学习的远程监督数据集的降噪
开放知识图谱
29+阅读 · 2019年1月17日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
无人机
10+阅读 · 2017年7月25日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月30日
Arxiv
0+阅读 · 1月15日
Arxiv
0+阅读 · 1月14日
VIP会员
相关资讯
综述 | 异质信息网络分析与应用综述
专知
27+阅读 · 2020年8月8日
图像/视频去噪算法资源集锦
专知
19+阅读 · 2019年12月14日
近期声学领域前沿论文(No. 3)
深度学习每日摘要
24+阅读 · 2019年3月31日
论文浅尝 | 基于深度强化学习的远程监督数据集的降噪
开放知识图谱
29+阅读 · 2019年1月17日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
无人机
10+阅读 · 2017年7月25日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员