We study finite-sum nonlinear programs with localized variable coupling encoded by a (hyper)graph. We introduce a graph-compliant decomposition framework that brings message passing into continuous optimization in a rigorous, implementable, and provable way. The (hyper)graph is partitioned into tree clusters (hypertree factor graphs). At each iteration, agents update in parallel by solving local subproblems whose objective splits into an {\it intra}-cluster term summarized by cost-to-go messages from one min-sum sweep on the cluster tree, and an {\it inter}-cluster coupling term handled Jacobi-style using the latest out-of-cluster variables. To reduce computation/communication, the method supports graph-compliant surrogates that replace exact messages/local solves with compact low-dimensional parametrizations; in hypergraphs, the same principle enables surrogate hyperedge splitting, to tame heavy hyperedge overlaps while retaining finite-time intra-cluster message updates and efficient computation/communication. We establish convergence for (strongly) convex and nonconvex objectives, with topology- and partition-explicit rates that quantify curvature/coupling effects and guide clustering and scalability. To our knowledge, this is the first convergent message-passing method on loopy graphs.


翻译:本文研究具有局部变量耦合的有限和式非线性规划问题,其耦合结构由(超)图编码。我们提出一种图相容分解框架,以严谨、可实施且可证明的方式将消息传递引入连续优化领域。该框架将(超)图划分为树状簇(超树因子图)。在每次迭代中,智能体通过并行求解局部子问题进行更新:其目标函数分解为两部分——由簇树单次最小和扫描生成的代价传递消息所汇总的簇内项,以及采用雅可比风格利用最新簇外变量处理的簇间耦合项。为降低计算/通信开销,本方法支持采用图相容代理函数,通过紧凑的低维参数化替代精确消息传递/局部求解;在超图场景中,相同原理可实现代理超边分割,既能控制密集超边重叠,又能保持有限时间内簇内消息更新与高效计算/通信。我们针对(强)凸及非凸目标函数建立了收敛性证明,并给出显式依赖拓扑与划分结构的收敛速率,该速率可量化曲率/耦合效应,为聚类设计与可扩展性提供理论指导。据我们所知,这是首个在带环图上具有收敛保证的消息传递方法。

0
下载
关闭预览

相关内容

[ICML2020]层次间消息传递的分子图学习
专知会员服务
34+阅读 · 2020年6月27日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
【论文笔记】图卷积的解释性技术
专知
18+阅读 · 2019年9月28日
【知识图谱】知识图谱+人工智能=新型网络信息体系
产业智能官
14+阅读 · 2018年11月18日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
[ICML2020]层次间消息传递的分子图学习
专知会员服务
34+阅读 · 2020年6月27日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员