An $α$-potential game is a multi-player non-cooperative interaction in which a global potential function approximates individual player rewards up to a structural bias $α$. While identifying a Nash Equilibrium (NE) in generic general-sum games is known to be computationally intractable, the potential game structure enables tractable NE identification. In this paper, we study the offline learning of NE in $α$-potential games using KL regularization. To analyze this process, we propose a novel Reference-Anchored offline data coverage framework--a verifiable condition that anchors data requirements to a known reference policy rather than an unknown optimum. Building on this, we propose Offline Potential Mirror Descent (OPMD), a decentralized algorithm that achieves an accelerated $\widetilde{\mathcal{O}}(1/n)$ statistical rate, surpassing the standard $\widetilde{\mathcal{O}}(1/\sqrt{n})$ rate typical of offline multi-agent learning. This work characterizes the first fast-rate offline learning approach for $α$-potential games.


翻译:摘要:$α$-势博弈是一种多人非合作交互,其中全局势函数在结构偏差$α$的范围内近似个体玩家收益。尽管在一般和博弈中识别纳什均衡(NE)已知在计算上难以处理,但势博弈结构使得NE的识别易于处理。在本文中,我们研究使用KL正则化在$α$-势博弈中离线学习NE。为分析这一过程,我们提出了一种新颖的参考锚定离线数据覆盖框架——一种可验证的条件,将数据需求锚定到已知参考策略而非未知最优策略。基于此,我们提出离线势镜像下降(OPMD),一种分布式算法,实现了加速的$\widetilde{\mathcal{O}}(1/n)$统计率,超越了离线多智能体学习中典型的$\widetilde{\mathcal{O}}(1/\sqrt{n})$率。本工作刻画了$α$-势博弈中首个快速率离线学习方法。

0
下载
关闭预览

相关内容

博弈论精要:基于优化方法的数学导论
专知会员服务
47+阅读 · 2025年3月30日
面向智能博弈的决策Transformer方法综述
专知会员服务
201+阅读 · 2023年4月14日
《资源分配博弈中的收敛率》
专知会员服务
42+阅读 · 2023年3月10日
【硬核书】博弈论,592页pdf
专知会员服务
165+阅读 · 2022年12月7日
专知会员服务
41+阅读 · 2021年2月12日
从动力学角度看优化算法:GAN的第三个阶段
PaperWeekly
11+阅读 · 2019年5月13日
从泰勒展开来看梯度下降算法
深度学习每日摘要
13+阅读 · 2019年4月9日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
完全图解RNN、RNN变体、Seq2Seq、Attention机制
AI研习社
13+阅读 · 2017年9月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月5日
VIP会员
最新内容
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
6+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
12+阅读 · 8月10日
《边缘计算关键技术分析及美军作战实践应用》
边缘计算的军事应用
专知会员服务
12+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
13+阅读 · 8月8日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员