Agent-Based Modelling (ABM) relies on clear documentation to ensure credibility and transparency. Although standards exist for documenting models (e.g. ODD), processes (e.g. TRACE, EABSS), and data use (e.g. RAT-RS), their adoption remains limited due to the effort required to produce documentation that is often treated as supplementary. This paper explores the use of Large Language Models (LLMs) to facilitate and partially automate such processes. We conduct a feasibility study focusing on the underused Rigour and Transparency Reporting Standard (RAT-RS), using four LLMs to extract reports from a published ABM paper. We assess consistency and performance across question types, finding that LLMs generate coherent outputs and perform more reliably on descriptive than on explanatory or evaluative tasks. While LLMs can improve reporting quality and consistency, they also exhibit notable limitations. We identify practical heuristics for when LLM-assisted documentation is reliable and when human oversight is needed and call for systematic community-level exploration to enhance rigour and adoption in ABM reporting.


翻译:基于智能体建模(ABM)依赖清晰的文档来确保可信度与透明度。尽管存在模型文档化标准(如ODD)、过程文档化标准(如TRACE、EABSS)以及数据使用标准(如RAT-RS),但由于生成文档的工作量较大,且这些文档常被视为辅助性内容,其采纳程度仍然有限。本文探索利用大型语言模型(LLMs)来促进并部分自动化此类过程。我们围绕未被充分使用的严谨性与透明度报告标准(RAT-RS)开展可行性研究,使用四种LLMs从一篇已发表的ABM论文中提取报告。我们评估了不同问题类型下的一致性及性能表现,发现LLMs能生成连贯的输出,且在描述性任务中比解释性或评估性任务表现更可靠。虽然LLMs能提高报告质量与一致性,但它们也表现出显著局限性。我们识别出何时LLM辅助的文档化可靠、何时需要人工监督的实用启发式规则,并呼吁开展系统性社区级探索,以提升ABM报告中的严谨性与采纳率。

0
下载
关闭预览

相关内容

基于大语言模型智能体的社会认知模拟
专知会员服务
19+阅读 · 2月22日
大语言模型时代的文档智能:综述
专知会员服务
23+阅读 · 2025年10月17日
大语言模型智能体的评估与基准:综述
专知会员服务
50+阅读 · 2025年7月31日
大语言模型智能体
专知会员服务
100+阅读 · 2024年12月25日
设计和构建强大的大语言模型智能体
专知会员服务
55+阅读 · 2024年10月6日
基于大型语言模型的软件工程智能体综述
专知会员服务
61+阅读 · 2024年9月6日
基于大型语言模型的游戏智能体综述
专知会员服务
66+阅读 · 2024年4月3日
面向多智能体博弈对抗的对手建模框架
专知
18+阅读 · 2022年9月28日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月12日
VIP会员
最新内容
边缘计算的军事应用
专知会员服务
7+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
9+阅读 · 8月8日
《多域冲突比较支持模型》60页
专知会员服务
14+阅读 · 8月7日
相关VIP内容
基于大语言模型智能体的社会认知模拟
专知会员服务
19+阅读 · 2月22日
大语言模型时代的文档智能:综述
专知会员服务
23+阅读 · 2025年10月17日
大语言模型智能体的评估与基准:综述
专知会员服务
50+阅读 · 2025年7月31日
大语言模型智能体
专知会员服务
100+阅读 · 2024年12月25日
设计和构建强大的大语言模型智能体
专知会员服务
55+阅读 · 2024年10月6日
基于大型语言模型的软件工程智能体综述
专知会员服务
61+阅读 · 2024年9月6日
基于大型语言模型的游戏智能体综述
专知会员服务
66+阅读 · 2024年4月3日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员