The study of learning in games typically assumes that each player always has access to all of their actions. However, in many practical scenarios, arbitrary restrictions induced by exogenous stochasticity might be placed on a player's action set. To model this setting, for a game $\mathcal{G}_{\mathrm{orig}}$ with action set $A_i$ for each player $i$, we introduce the corresponding Game with Stochastic Action Sets (GSAS) which is parametrized by a probability distribution over the players' set of possible action subsets $\mathcal{S}_i \subseteq 2^{\vert A_i\vert}\backslash\{\varnothing\}$. In a GSAS, players' strategies and Nash equilibria (NE) admit prohibitively large representations, thus existing algorithms for NE computation scale poorly. Under the assumption that action availabilities are independent between players, we show that NE in two-player zero-sum (2p0s) GSAS can be compactly represented by a vector of size $\vert A_i\vert$, overcoming naive exponential sized representation of equilibria. Computationally, we introduce an efficient approach based on sleeping internal regret minimization and show that it converges to approximate NE in 2p0s-GSAS at a rate $O(\sqrt{\log\vert A_i\vert/T})$ with appropriate choice of stepsizes, avoiding the exponential blow-up of game-dependent constants.


翻译:传统博弈学习研究通常假设每位参与者始终能够使用其所有可选行动。然而,在实际场景中,外生随机性可能导致参与者的行动集受到任意限制。为建模此类情境,针对每个参与者i具有行动集A_i的原始博弈G_orig,我们引入对应的具有随机行动集的博弈(GSAS),该模型通过参与者可能行动子集集合S_i ⊆ 2^{|A_i|}\{∅}上的概率分布进行参数化。在GSAS中,参与者策略与纳什均衡(NE)的表示规模呈指数级增长,导致现有NE计算算法可扩展性较差。在参与者间行动可用性相互独立的假设下,我们证明双人零和(2p0s)GSAS中的NE可通过规模为|A_i|的向量进行紧凑表示,从而克服了均衡表示规模随维度指数增长的问题。在计算层面,我们提出基于休眠内部遗憾最小化的高效方法,并证明通过合适的步长选择,该方法能以O(√(log|A_i|/T))的速率收敛至2p0s-GSAS中的近似NE,避免了博弈相关常数的指数级膨胀。

0
下载
关闭预览

相关内容

使用博弈论进行国防资源分配管理
专知会员服务
86+阅读 · 2022年5月6日
专知会员服务
37+阅读 · 2021年5月29日
一文教你如何处理不平衡数据集(附代码)
大数据文摘
11+阅读 · 2019年6月2日
推荐算法:Match与Rank模型的交织配合
从0到1
15+阅读 · 2017年12月18日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月12日
Arxiv
0+阅读 · 2月3日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员