Multi-source data integration problems over datasets from different sources covering different but possibly overlapping sets of entities have become increasingly important in many applications, including genomics, single-cell analysis, and healthcare research. We study a model of multi-source data integration where we observe overlapping submatrices of a low-rank matrix, each corrupted by additive noise. In such problems, one often first learns a low-dimensional representation of the entities within each source and then integrates these representations across sources. As the representations are only identifiable up to some transformation, aligning them using the sources' overlapping entities becomes a key challenge. Existing methods align these estimates in a sequential or tree-structured manner, and are therefore sensitive to the chosen order and exploit only part of the overlapping information. We propose Global Synchronized Multiple Matrix Integration (GSMMI), which formulates this alignment problem as a global synchronization problem and jointly aligns all sources using all pairwise overlaps at once. We develop an efficient, scalable iterative algorithm for GSMMI, and show both theoretically and empirically that it improves alignment accuracy, with clear gains over prior approaches even under moderate overlap. We additionally establish information-theoretic and computational lower bounds for detection in data integration, and find GSMMI to be empirically near-optimal. GSMMI applies broadly across symmetric positive semidefinite, symmetric indefinite, and asymmetric or rectangular matrices, as well as settings where sources overlap only in rows or only in columns.


翻译:暂无翻译

0
下载
关闭预览

相关内容

Integration:Integration, the VLSI Journal。 Explanation:集成,VLSI杂志。 Publisher:Elsevier。 SIT:http://dblp.uni-trier.de/db/journals/integration/
非平衡数据集 focal loss 多类分类
AI研习社
33+阅读 · 2019年4月23日
跨多个异构数据源的实体对齐
FCS
15+阅读 · 2019年3月13日
【资源】史上最全数据集汇总
七月在线实验室
18+阅读 · 2018年4月24日
读书报告 | Deep Learning for Extreme Multi-label Text Classification
科技创新与创业
48+阅读 · 2018年1月10日
论文 | 基于RNN的在线多目标跟踪
七月在线实验室
31+阅读 · 2017年12月27日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Arxiv
0+阅读 · 10月13日
VIP会员
最新内容
《面向国防领域的大语言模型基准测试与适配》
专知会员服务
11+阅读 · 10月28日
世界模型入门:从序贯决策到通用智能体
专知会员服务
14+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
12+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
17+阅读 · 10月20日
相关VIP内容
相关资讯
非平衡数据集 focal loss 多类分类
AI研习社
33+阅读 · 2019年4月23日
跨多个异构数据源的实体对齐
FCS
15+阅读 · 2019年3月13日
【资源】史上最全数据集汇总
七月在线实验室
18+阅读 · 2018年4月24日
读书报告 | Deep Learning for Extreme Multi-label Text Classification
科技创新与创业
48+阅读 · 2018年1月10日
论文 | 基于RNN的在线多目标跟踪
七月在线实验室
31+阅读 · 2017年12月27日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员