Most graph neural networks (GNNs) rely on the message passing paradigm to propagate node features and build interactions. Recent works point out that different graph learning tasks require different ranges of interactions between nodes. To investigate its underlying mechanism, we explore the capacity of GNNs to capture pairwise interactions between nodes under contexts with different complexities, especially for their graph-level and node-level applications in scientific domains like biochemistry and physics. When formulating pairwise interactions, we study two common graph construction methods in scientific domains, i.e., \emph{K-nearest neighbor} (KNN) graphs and \emph{fully-connected} (FC) graphs. Furthermore, we demonstrate that the inductive bias introduced by KNN-graphs and FC-graphs hinders GNNs to learn the most informative order of interactions. {Such a phenomenon is broadly shared by several GNNs for different graph learning tasks and forbids GNNs to achieve the global minimum loss, so we name it a \emph{representation bottleneck}.} To overcome that, we propose a novel graph rewiring approach based on the pairwise interaction strengths to dynamically adjust the reception fields of each node. Extensive experiments in molecular property prediction and dynamic system forecast prove the superiority of our method over state-of-the-art GNN baselines. More importantly, this paper provides a reasonable explanation of why subgraphs play an important role in the determination of graph properties.


翻译:多数图形神经网络( GNN) 依靠信息传递模式来传播节点特征和构建互动。 最近的工作指出, 不同的图表学习任务需要不同节点之间的互动范围。 为了调查其基本机制, 我们探索 GNN 和 FC 绘图在复杂程度不同的环境下捕捉节点之间双向互动的能力, 特别是它们的图形水平和节点应用在生物化学和物理等科学领域。 在开发双向互动时, 我们研究科学领域的两种共同图形构建方法, 即 \ emph{ K- near near near near} (KNNNN) 图表和 emph{ 完全连接} (FC) 图表。 此外, 我们证明 KNNNM 和 FC 绘图引入的隐含性偏向互动, 阻碍 GNNNN 学习最丰富信息的顺序。 { 这种现象被数个GNNNN 用于不同的图形学习任务, 并禁止 GNNN 实现全球最低损失, 因此我们给它命名一个 emph{ 表示 瓶 } 图表和\ empph\ recref- repreal deal revial revial reviewal deal review view view view resmal resmal view resm resm resm viewal vial viewal view view view viewing viewing viewing viewing resm view resm resm resm view view viewst view viewm views views view view views views viewal viewm view viewal view resm res 方法, 我们 resm 方法, 我们s 方法, 我们cal 方法, 我们bal 方法, 我们bal 方法, 我们bal 方法, 我们m 。 我们m 。 我们 vial vial vical vical vical vial viewal resm vial vical vical ex resm res

0
下载
关闭预览

相关内容

IFIP TC13 Conference on Human-Computer Interaction是人机交互领域的研究者和实践者展示其工作的重要平台。多年来,这些会议吸引了来自几个国家和文化的研究人员。官网链接:http://interact2019.org/
因果图,Causal Graphs,52页ppt
专知会员服务
253+阅读 · 2020年4月19日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium9
中国图象图形学学会CSIG
0+阅读 · 2021年12月17日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium3
中国图象图形学学会CSIG
0+阅读 · 2021年11月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
27+阅读 · 2020年6月19日
VIP会员
相关VIP内容
因果图,Causal Graphs,52页ppt
专知会员服务
253+阅读 · 2020年4月19日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
相关资讯
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium9
中国图象图形学学会CSIG
0+阅读 · 2021年12月17日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium3
中国图象图形学学会CSIG
0+阅读 · 2021年11月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员