Using an open problem from the EC 2025 paper "Stable Menus of Public Goods" as a testbed, we conduct experiments to understand the effectiveness of different AI-for-EconCS research workflows. Specifically, we study three questions: Does providing human intuition in the prompt help? Does automated multi-turn interaction help? And, does an LLM outperform a first-year PhD student? Regarding the first two questions, we provide evidence for the following workflow suggestions: (1) prompting with human intuition can encourage the LLM to have better "taste", (2) multi-turn workflows help when the pipeline encourages "ambitious" steps. Regarding the third question, using an unpublished manuscript written by the paper's senior authors prior to collaborating with the first-year PhD student, we compare the effectiveness of the LLM with that of the first-year PhD student, and find that the LLM is slightly less effective.


翻译:以EC 2025论文《公共品稳定菜单》中的一个开放问题作为测试平台,我们通过实验来理解不同AI-for-EconCS研究流程的有效性。具体而言,我们研究三个问题:在提示中提供人类直觉是否有帮助?自动化多轮交互是否有帮助?以及大语言模型是否优于一年级博士生?针对前两个问题,我们为以下流程建议提供了证据:(1)加入人类直觉的提示能促使大语言模型具备更佳的"品味";(2)当流程鼓励"进取性"步骤时,多轮工作流更有助益。针对第三个问题,利用该论文资深作者在与一年级博士生合作前撰写的未发表手稿,我们比较了大语言模型与一年级博士生的效能,发现大语言模型的表现略逊一筹。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
AutoResearch AI综述:迈向AI驱动的科学发现自动化
专知会员服务
18+阅读 · 5月26日
AI 自动研究:路线图与用户指南
专知会员服务
20+阅读 · 5月19日
前沿人工智能趋势报告(Frontier AI Trends Report)
专知会员服务
40+阅读 · 2025年12月20日
从Idea构想到论文发表:AI for Research全链路综述与实践
专知会员服务
25+阅读 · 2025年7月21日
AI智能体基础设施
专知会员服务
44+阅读 · 2025年7月12日
《人工智能算法进展 :近期发展预测综述》最新54页报告
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Arxiv
26+阅读 · 2018年9月21日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
2+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
5+阅读 · 7月17日
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
相关资讯
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员