The threat of algorithmic collusion, and whether it merits regulatory intervention, remains debated, as existing evaluations of its emergence often rely on long learning horizons, assumptions about counterparty rationality in adopting collusive strategies, and symmetry in hyperparameters and economic settings among players. To study collusion risk, we introduce a meta-game design for analyzing algorithmic behavior under test-time constraints. We model agents as possessing pretrained policies with distinct strategic characteristics (e.g., competitive, naively cooperative, robustly collusive), and formulate the problem as selecting a meta-strategy that combines a pretrained, initial policy with an in-game adaptation rule. We seek to examine whether collusion can emerge under rational choices and how agents co-adapt toward cooperation or competition. To this end, we sample normal-form empirical games over meta-strategy profiles, % across random initial game states, compute relevant game statistics (e.g., payoffs against individuals and regret against an equilibrium mixture of opponents), and construct empirical best-response graphs to uncover strategic relationships. We evaluate both reinforcement-learning and LLM-based strategies in repeated pricing games under symmetric and asymmetric cost settings, and present findings on the feasibility of algorithmic collusion and the effectiveness of pricing strategies in practical ``test-time'' environments. The source code and the full paper with appendix are available at: https://github.com/chailab-rutgers/CollusionMetagame.


翻译:算法性合谋的威胁及其是否值得监管干预仍存争议,因为现有对其涌现的评估通常依赖于长期学习过程、对对手采用合谋策略的理性假设,以及参与者间超参数和经济环境的对称性。为研究合谋风险,我们提出一种用于分析测试时间约束下算法行为的元博弈设计。我们将智能体建模为拥有具备不同策略特性(如竞争性、天真合作性、强合谋性)的预训练策略,并将问题形式化为选择一种元策略,该策略结合了预训练的初始策略与游戏内适应规则。我们旨在考察合谋是否能在理性选择下涌现,以及智能体如何协同适应走向合作或竞争。为此,我们在元策略组合上采样正规型经验博弈,计算相关博弈统计量(如针对个体的收益及针对对手均衡混合策略的遗憾),并构建经验最佳响应图以揭示策略关系。我们在对称与非对称成本设置下的重复定价博弈中评估了基于强化学习和大型语言模型的策略,并就算法性合谋的可行性及定价策略在实际“测试时间”环境中的有效性提出了研究发现。源代码及附有附录的完整论文可在以下网址获取:https://github.com/chailab-rutgers/CollusionMetagame。

0
下载
关闭预览

相关内容

智能博弈对抗算法及其在情报领域中的应用*
专知会员服务
39+阅读 · 2024年12月1日
【干货书】算法博弈论,Algorithmic Game Theory,775页pdf
专知会员服务
89+阅读 · 2023年6月19日
【经典书】算法博弈论,775页pdf,Algorithmic Game Theory
专知会员服务
156+阅读 · 2021年5月9日
面向多智能体博弈对抗的对手建模框架
专知
18+阅读 · 2022年9月28日
综述:军事应用中使用的一些重要算法
专知
12+阅读 · 2022年7月3日
元学习—Meta Learning的兴起
专知
44+阅读 · 2019年10月19日
综述:深度学习时代的目标检测算法
极市平台
27+阅读 · 2018年3月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Arxiv
0+阅读 · 1月29日
VIP会员
相关VIP内容
智能博弈对抗算法及其在情报领域中的应用*
专知会员服务
39+阅读 · 2024年12月1日
【干货书】算法博弈论,Algorithmic Game Theory,775页pdf
专知会员服务
89+阅读 · 2023年6月19日
【经典书】算法博弈论,775页pdf,Algorithmic Game Theory
专知会员服务
156+阅读 · 2021年5月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员