An $α$-potential game is a multi-player non-cooperative interaction in which a global potential function approximates individual player rewards up to a structural bias $α$. While identifying a Nash Equilibrium (NE) in generic general-sum games is known to be computationally intractable, the potential game structure enables tractable NE identification. In this paper, we study the offline learning of NE in $α$-potential games using KL regularization. To analyze this process, we propose a novel Reference-Anchored offline data coverage framework--a verifiable condition that anchors data requirements to a known reference policy rather than an unknown optimum. Building on this, we propose Offline Potential Mirror Descent (OPMD), a decentralized algorithm that achieves an accelerated $\widetilde{\mathcal{O}}(1/n)$ statistical rate, surpassing the standard $\widetilde{\mathcal{O}}(1/\sqrt{n})$ rate typical of offline multi-agent learning. This work characterizes the first fast-rate offline learning approach for $α$-potential games.


翻译:摘要:$α$-势博弈是一种多人非合作交互,其中全局势函数在结构偏差$α$的范围内近似个体玩家收益。尽管在一般和博弈中识别纳什均衡(NE)已知在计算上难以处理,但势博弈结构使得NE的识别易于处理。在本文中,我们研究使用KL正则化在$α$-势博弈中离线学习NE。为分析这一过程,我们提出了一种新颖的参考锚定离线数据覆盖框架——一种可验证的条件,将数据需求锚定到已知参考策略而非未知最优策略。基于此,我们提出离线势镜像下降(OPMD),一种分布式算法,实现了加速的$\widetilde{\mathcal{O}}(1/n)$统计率,超越了离线多智能体学习中典型的$\widetilde{\mathcal{O}}(1/\sqrt{n})$率。本工作刻画了$α$-势博弈中首个快速率离线学习方法。

0
下载
关闭预览

相关内容

博弈论精要:基于优化方法的数学导论
专知会员服务
47+阅读 · 2025年3月30日
面向智能博弈的决策Transformer方法综述
专知会员服务
201+阅读 · 2023年4月14日
《资源分配博弈中的收敛率》
专知会员服务
42+阅读 · 2023年3月10日
【硬核书】博弈论,592页pdf
专知会员服务
165+阅读 · 2022年12月7日
专知会员服务
41+阅读 · 2021年2月12日
从动力学角度看优化算法:GAN的第三个阶段
PaperWeekly
11+阅读 · 2019年5月13日
从泰勒展开来看梯度下降算法
深度学习每日摘要
13+阅读 · 2019年4月9日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
完全图解RNN、RNN变体、Seq2Seq、Attention机制
AI研习社
13+阅读 · 2017年9月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月5日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
1+阅读 · 今天15:00
21世纪的无人机战争
专知会员服务
2+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
2+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员