We consider the dynamics of $n$ points on a sphere in $\mathbb{R}^d$ ($d \geq 2$) which attract each other according to a function $\varphi$ of their inner products. When $\varphi$ is linear ($\varphi(t) = t$), the points converge to a common value (i.e., synchronize) in various connectivity scenarios: this is part of classical work on Kuramoto oscillator networks. When $\varphi$ is exponential ($\varphi(t) = e^{βt}$), these dynamics correspond to a limit of how idealized transformers process data, as described by Geshkovski et al. (2025). Accordingly, they ask whether synchronization occurs for exponential $\varphi$. The answer depends on the dimension $d$. In the context of consensus for multi-agent control, Markdahl et al. (2018) show that for $d \geq 3$ (spheres), if the interaction graph is connected and $\varphi$ is increasing and convex, then the system synchronizes. We give a separate proof of this result. What is the situation on circles ($d=2$)? First, we show that $\varphi$ being increasing and convex is no longer sufficient (even for complete graphs). Then we identify a new condition under which we do have synchronization on the circle (namely, if the Taylor coefficients of $\varphi'$ are decreasing). As a corollary, this provide synchronization for exponential $\varphi$ with $β\in (0, 1]$. The proofs are based on nonconvex landscape analysis.


翻译:我们研究了$\mathbb{R}^d$($d \geq 2$)空间中球面上$n$个点的动力学行为,这些点根据其内积的函数$\varphi$相互吸引。当$\varphi$为线性函数($\varphi(t) = t$)时,在不同连通性场景下这些点会收敛至共同值(即同步):这是仓本振子网络经典研究的一部分。当$\varphi$为指数函数($\varphi(t) = e^{βt}$)时,该动力学对应于理想化Transformer处理数据的极限情况,如Geshkovski等人(2025)所述。因此,他们提出指数型$\varphi$是否会导致同步的问题。答案取决于维度$d$。在多智能体控制的共识问题背景下,Markdahl等人(2018)证明对于$d \geq 3$(球面),若交互图连通且$\varphi$为递增凸函数,则系统达到同步。我们给出了该结论的独立证明。在圆($d=2$)上的情况如何?首先,我们证明$\varphi$的递增凸性条件不再充分(即使在完全图中)。随后我们提出了保证圆上同步的新条件(即$\varphi'$的泰勒系数递减)。作为推论,这为$β\in (0, 1]$的指数型$\varphi$提供了同步保证。证明基于非凸势景分析。

0
下载
关闭预览

相关内容

论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
一文读懂线性回归、岭回归和Lasso回归
CSDN
34+阅读 · 2019年10月13日
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
并行算法演进,从MapReduce到MPI
凡人机器学习
10+阅读 · 2017年11月5日
从点到线:逻辑回归到条件随机场
夕小瑶的卖萌屋
15+阅读 · 2017年7月22日
各种相似性度量及Python实现
机器学习算法与Python学习
11+阅读 · 2017年7月6日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月26日
VIP会员
相关VIP内容
相关资讯
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
一文读懂线性回归、岭回归和Lasso回归
CSDN
34+阅读 · 2019年10月13日
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
并行算法演进,从MapReduce到MPI
凡人机器学习
10+阅读 · 2017年11月5日
从点到线:逻辑回归到条件随机场
夕小瑶的卖萌屋
15+阅读 · 2017年7月22日
各种相似性度量及Python实现
机器学习算法与Python学习
11+阅读 · 2017年7月6日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员