The Counterfactual Regret Minimization (CFR) algorithm and its variants have enabled the development of pokerbots capable of beating the best human players in heads-up (1v1) cash games and competing with them in six-player formats. However, CFR's computational complexity rises exponentially with the number of players. Furthermore, in games with three or more players, following Nash equilibrium no longer guarantees a non-losing outcome. These limitations, along with others, significantly restrict the applicability of CFR to the most popular formats: tournaments. Motivated by the recent success of Large Language Models (LLM) in chess and Diplomacy, we present SpinGPT, the first LLM tailored to Spin & Go, a popular three-player online poker format. SpinGPT is trained in two stages: (1) Supervised Fine-Tuning on 320k high-stakes expert decisions; (2) Reinforcement Learning on 270k solver-generated hands. Our results show that SpinGPT matches the solver's actions in 78% of decisions (tolerant accuracy). With a simple deep-stack heuristic, it achieves 13.4 +/- 12.9 BB/100 versus Slumbot in heads-up over 30,000 hands (95% CI). These results suggest that LLMs could be a new way to deal with multi-player imperfect-information games like poker.


翻译:反事实遗憾最小化(Counterfactual Regret Minimization, CFR)算法及其变体已推动开发出能够在单挑(1v1)现金游戏中击败顶尖人类玩家、并在六人局模式中与之抗衡的扑克机器人。然而,CFR的计算复杂度随玩家数量呈指数级增长。此外,在三人或更多玩家的游戏中,遵循纳什均衡不再保证非负收益。这些局限与其他因素共同显著限制了CFR在最流行赛制——锦标赛中的应用。受大语言模型(LLM)近期在国际象棋和《外交》游戏中成功的启发,我们提出了SpinGPT,这是首个针对流行三人线上扑克模式"Spin & Go"定制的大语言模型。SpinGPT的训练分为两个阶段:(1)基于32万手高额注专家决策进行监督微调;(2)基于27万手求解器生成牌局进行强化学习。实验结果表明,SpinGPT在78%的决策中与求解器行动一致(容错准确率)。通过简单的深筹码启发式策略,其在3万手牌中对战Slumbot时获得13.4 ± 12.9 BB/100的胜率(95%置信区间)。这些结果表明,大语言模型可能成为处理扑克等多玩家非完全信息博弈的新途径。

0
下载
关闭预览

相关内容

大模型推理的天花板在哪里?
专知会员服务
16+阅读 · 2025年6月12日
《基于大型语言模型的开放式兵棋推演》
专知会员服务
98+阅读 · 2024年4月23日
【大模型对齐】利用对齐使大型语言模型更好地推理
专知会员服务
48+阅读 · 2023年9月8日
大型语言模型公平性
专知会员服务
41+阅读 · 2023年8月31日
CALDERA 一款对手自动模拟工具
黑白之道
20+阅读 · 2019年9月17日
兴军亮Science评述:多人德州扑克博弈新突破
中国科学院自动化研究所
19+阅读 · 2019年7月15日
高翔:谈谈语义SLAM/地图
计算机视觉life
37+阅读 · 2019年3月26日
NLP通用模型诞生?一个模型搞定十大自然语言常见任务
人工智能头条
10+阅读 · 2018年6月29日
资源 | Github项目:斯坦福大学CS-224n课程中深度NLP模型的PyTorch实现
黑龙江大学自然语言处理实验室
10+阅读 · 2017年11月13日
GAFT:一个使用 Python 实现的遗传算法框架
Python开发者
10+阅读 · 2017年8月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(16份)
专知会员服务
7+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
15+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
2+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
4+阅读 · 4月12日
相关资讯
CALDERA 一款对手自动模拟工具
黑白之道
20+阅读 · 2019年9月17日
兴军亮Science评述:多人德州扑克博弈新突破
中国科学院自动化研究所
19+阅读 · 2019年7月15日
高翔:谈谈语义SLAM/地图
计算机视觉life
37+阅读 · 2019年3月26日
NLP通用模型诞生?一个模型搞定十大自然语言常见任务
人工智能头条
10+阅读 · 2018年6月29日
资源 | Github项目:斯坦福大学CS-224n课程中深度NLP模型的PyTorch实现
黑龙江大学自然语言处理实验室
10+阅读 · 2017年11月13日
GAFT:一个使用 Python 实现的遗传算法框架
Python开发者
10+阅读 · 2017年8月1日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员