An $α$-potential game is a multi-player non-cooperative interaction in which a global potential function approximates individual player rewards up to a structural bias $α$. While identifying a Nash Equilibrium (NE) in generic general-sum games is known to be computationally intractable, the potential game structure enables tractable NE identification. In this paper, we study the offline learning of NE in $α$-potential games using KL regularization. To analyze this process, we propose a novel Reference-Anchored offline data coverage framework--a verifiable condition that anchors data requirements to a known reference policy rather than an unknown optimum. Building on this, we propose Offline Potential Mirror Descent (OPMD), a decentralized algorithm that achieves an accelerated $\widetilde{\mathcal{O}}(1/n)$ statistical rate, surpassing the standard $\widetilde{\mathcal{O}}(1/\sqrt{n})$ rate typical of offline multi-agent learning. This work characterizes the first fast-rate offline learning approach for $α$-potential games.


翻译:摘要:α-势博弈是一种多参与者非合作交互模型,其中全局势函数可在结构偏差α范围内近似个体参与者的收益。虽然已知通用和博弈的纳什均衡识别在计算上难以处理,但势博弈结构使得纳什均衡的可解性得以实现。本文研究使用KL正则化在α-势博弈中离线学习纳什均衡的问题。为分析该过程,我们提出了一种新颖的"参考锚定离线数据覆盖框架"——该可验证条件将数据需求锚定至已知参考策略而非未知最优策略。基于此,我们提出离线势镜像下降算法(OPMD),该分布式算法实现了加速的$\widetilde{\mathcal{O}}(1/n)$统计收敛率,超越了离线多智能体学习中典型的$\widetilde{\mathcal{O}}(1/\sqrt{n})$收敛率。本工作首次刻画了α-势博弈中离线学习的快速收敛方法。

0
下载
关闭预览

相关内容

【NeurIPS2025】熵正则化与分布强化学习的收敛定理
专知会员服务
12+阅读 · 2025年10月12日
博弈论精要:基于优化方法的数学导论
专知会员服务
47+阅读 · 2025年3月30日
面向智能博弈的决策Transformer方法综述
专知会员服务
201+阅读 · 2023年4月14日
《资源分配博弈中的收敛率》
专知会员服务
42+阅读 · 2023年3月10日
【硬核书】博弈论,592页pdf
专知会员服务
165+阅读 · 2022年12月7日
专知会员服务
41+阅读 · 2021年2月12日
从动力学角度看优化算法:GAN的第三个阶段
PaperWeekly
11+阅读 · 2019年5月13日
完全图解RNN、RNN变体、Seq2Seq、Attention机制
AI研习社
13+阅读 · 2017年9月5日
精品公开课 | 随机梯度下降算法综述
七月在线实验室
13+阅读 · 2017年7月11日
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
0+阅读 · 21分钟前
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
相关基金
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员