Recent advances in mean-field game literature enable the reduction of large-scale multi-agent problems to tractable interactions between a representative agent and a population distribution. However, existing approaches typically assume a fixed initial population distribution and fully rational agents, limiting robustness under distributional uncertainty and cognitive constraints. We address these limitations by introducing risk aversion with respect to the initial population distribution and by incorporating bounded rationality to model deviations from fully rational decision-making agents. The combination of these two elements yields a new and more general equilibrium concept, which we term the mean-field risk-averse quantal response equilibrium (MF-RQE). We establish existence results and prove convergence of fixed-point iteration and fictitious play to MF-RQE. Building on these insights, we develop a scalable reinforcement learning algorithm for scenarios with large state-action spaces. Numerical experiments demonstrate that MF-RQE policies achieve improved robustness relative to classical mean-field approaches that optimize expected cumulative rewards under a fixed initial distribution and are restricted to entropy-based regularizers.


翻译:平均场博弈理论的最新进展使得大规模多智能体问题可简化为代表性智能体与群体分布间的可处理交互。然而,现有方法通常假设固定的初始群体分布与完全理性智能体,这限制了其在分布不确定性及认知约束下的鲁棒性。我们通过引入针对初始群体分布的风险规避机制,并结合有限理性以建模对完全理性决策智能体的偏离,从而解决了这些局限性。这两种要素的结合产生了一种全新且更一般的均衡概念,我们将其称为平均场风险规避量化响应均衡(MF-RQE)。我们建立了存在性结果,并证明了定点迭代与虚拟博弈对MF-RQE的收敛性。基于这些洞见,我们针对具有大规模状态-动作空间的场景,开发了一种可扩展的强化学习算法。数值实验表明,相对于在固定初始分布下优化期望累积奖励且仅限于基于熵的正则化器的经典平均场方法,MF-RQE策略实现了更强的鲁棒性。

0
下载
关闭预览

相关内容

博弈论与大语言模型的结合:系统性综述
专知会员服务
60+阅读 · 2025年2月14日
博弈论应用《互补战场上的多场战斗对抗》
专知会员服务
26+阅读 · 2024年1月30日
《在互补战场上进行多场战斗》
专知会员服务
18+阅读 · 2024年1月20日
面向智能博弈的决策Transformer方法综述
专知会员服务
199+阅读 · 2023年4月14日
面向多智能体博弈对抗的对手建模框架
专知
18+阅读 · 2022年9月28日
基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】
人工智能前沿讲习班
27+阅读 · 2018年12月13日
不对称多代理博弈中的博弈理论解读
AI前线
14+阅读 · 2018年3月8日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月16日
Arxiv
0+阅读 · 2月5日
VIP会员
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员