Consider a strongly monotone game where the players' utility functions include a reward function and a linear term for each dimension, with coefficients that are controlled by the manager. Gradient play converges to a unique Nash equilibrium (NE) that does not optimize the global objective. The global performance at NE can be improved by imposing linear constraints on the NE, also known as a generalized Nash equilibrium (GNE). We therefore want the manager to control the coefficients such that they impose the desired constraint on the NE. However, this requires knowing the players' rewards and action sets. Obtaining this game information is infeasible in a large-scale network and violates user privacy. To overcome this, we propose a simple algorithm that learns to shift the NE to meet the linear constraints by adjusting the controlled coefficients online. Our algorithm only requires the linear constraints violation as feedback and does not need to know the reward functions or the action sets. We prove that our algorithm converges with probability 1 to the set of GNE given by coupled linear constraints. We then prove an L2 convergence rate of near-$O(t^{-1/4})$.


翻译:考虑一个强单调博弈,其中参与者的效用函数包含一个奖励函数和每个维度的线性项,其系数由管理者控制。梯度博弈收敛于一个唯一的纳什均衡(NE),该均衡无法优化全局目标。通过施加线性约束于纳什均衡(也称为广义纳什均衡,GNE),可以改善均衡点的全局性能。因此,我们希望管理者控制这些系数,以在纳什均衡上施加所需的约束。然而,这需要知晓参与者的奖励函数和行动集。在大规模网络中获取此类博弈信息并不可行,且会侵犯用户隐私。为解决此问题,我们提出一种简单算法,该算法通过在线调整受控系数,学习将纳什均衡移动至满足线性约束的位置。我们的算法仅需线性约束违反量作为反馈,无需知晓奖励函数或行动集。我们证明,给定耦合线性约束,算法以概率1收敛到广义纳什均衡集。随后,我们证明了算法具有接近-$O(t^{-1/4})$的L2收敛速率。

0
下载
关闭预览

相关内容

博弈论应用《互补战场上的多场战斗对抗》
专知会员服务
26+阅读 · 2024年1月30日
《资源分配博弈中的收敛率》
专知会员服务
41+阅读 · 2023年3月10日
多智能体博弈、学习与控制
专知会员服务
127+阅读 · 2023年1月18日
【硬核书】博弈论,592页pdf
专知会员服务
165+阅读 · 2022年12月7日
一文了解强化学习
AI100
15+阅读 · 2018年8月20日
【强化学习】强化学习/增强学习/再励学习介绍
产业智能官
10+阅读 · 2018年2月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Arxiv
0+阅读 · 3月4日
Arxiv
0+阅读 · 2月18日
Arxiv
0+阅读 · 2月12日
Arxiv
0+阅读 · 2月3日
VIP会员
最新内容
《新兴技术武器化及其对全球风险的影响》
专知会员服务
8+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
20+阅读 · 4月29日
智能体化世界建模:基础、能力、规律及展望
专知会员服务
11+阅读 · 4月28日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员