Agent-Based Modelling (ABM) relies on clear documentation to ensure credibility and transparency. Although standards exist for documenting models (e.g. ODD), processes (e.g. TRACE, EABSS), and data use (e.g. RAT-RS), their adoption remains limited due to the effort required to produce documentation that is often treated as supplementary. This paper explores the use of Large Language Models (LLMs) to facilitate and partially automate such processes. We conduct a feasibility study focusing on the underused Rigour and Transparency Reporting Standard (RAT-RS), using four LLMs to extract reports from a published ABM paper. We assess consistency and performance across question types, finding that LLMs generate coherent outputs and perform more reliably on descriptive than on explanatory or evaluative tasks. While LLMs can improve reporting quality and consistency, they also exhibit notable limitations. We identify practical heuristics for when LLM-assisted documentation is reliable and when human oversight is needed and call for systematic community-level exploration to enhance rigour and adoption in ABM reporting.


翻译:基于智能体建模(ABM)依赖清晰的文档来确保可信度与透明度。尽管存在模型文档化标准(如ODD)、过程文档化标准(如TRACE、EABSS)以及数据使用标准(如RAT-RS),但由于生成文档的工作量较大,且这些文档常被视为辅助性内容,其采纳程度仍然有限。本文探索利用大型语言模型(LLMs)来促进并部分自动化此类过程。我们围绕未被充分使用的严谨性与透明度报告标准(RAT-RS)开展可行性研究,使用四种LLMs从一篇已发表的ABM论文中提取报告。我们评估了不同问题类型下的一致性及性能表现,发现LLMs能生成连贯的输出,且在描述性任务中比解释性或评估性任务表现更可靠。虽然LLMs能提高报告质量与一致性,但它们也表现出显著局限性。我们识别出何时LLM辅助的文档化可靠、何时需要人工监督的实用启发式规则,并呼吁开展系统性社区级探索,以提升ABM报告中的严谨性与采纳率。

0
下载
关闭预览

相关内容

基于大语言模型智能体的社会认知模拟
专知会员服务
19+阅读 · 2月22日
大语言模型时代的文档智能:综述
专知会员服务
23+阅读 · 2025年10月17日
大语言模型智能体的评估与基准:综述
专知会员服务
50+阅读 · 2025年7月31日
大语言模型智能体
专知会员服务
100+阅读 · 2024年12月25日
设计和构建强大的大语言模型智能体
专知会员服务
55+阅读 · 2024年10月6日
基于大型语言模型的软件工程智能体综述
专知会员服务
60+阅读 · 2024年9月6日
基于大型语言模型的游戏智能体综述
专知会员服务
66+阅读 · 2024年4月3日
面向多智能体博弈对抗的对手建模框架
专知
18+阅读 · 2022年9月28日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月12日
VIP会员
最新内容
重新思考无人机时代的生存能力
专知会员服务
2+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
2+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
3+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
3+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
5+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
基于大语言模型智能体的社会认知模拟
专知会员服务
19+阅读 · 2月22日
大语言模型时代的文档智能:综述
专知会员服务
23+阅读 · 2025年10月17日
大语言模型智能体的评估与基准:综述
专知会员服务
50+阅读 · 2025年7月31日
大语言模型智能体
专知会员服务
100+阅读 · 2024年12月25日
设计和构建强大的大语言模型智能体
专知会员服务
55+阅读 · 2024年10月6日
基于大型语言模型的软件工程智能体综述
专知会员服务
60+阅读 · 2024年9月6日
基于大型语言模型的游戏智能体综述
专知会员服务
66+阅读 · 2024年4月3日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员