Scientific publishing systematically filters out negative results. We argue that this long-standing asymmetry has become an urgent problem in the era of large language models, which inherit the positive bias of the literature they are trained on, face an impending shortage of high-quality training data, and are increasingly deployed as both research tools and peer reviewers. We analyze three ways in which LLMs have changed the value of failure data and show that the systematic absence of such data degrades their utility as research tools, training data consumers, and peer reviewers alike. We outline experimental protocols to validate these claims and discuss the structural conditions under which a failure-inclusive publishing culture could emerge.


翻译:科学出版系统性地过滤了负面结果。我们认为,这一长期存在的不对称性在大语言模型时代已演变为紧迫问题:这些模型继承了训练语料中的正向偏差,面临高质量训练数据即将短缺的困境,且正被越来越多地部署为研究工具和同行评审员。本文分析了LLMs改变失败数据价值的三种途径,证明此类数据的系统性缺失会降低其作为研究工具、训练数据消费者及同行评审员的效用。我们提出了验证这些论断的实验方案,并探讨了促使包容失败结果的出版文化形成的结构性条件。

0
下载
关闭预览

相关内容

什么是后训练?大语言模型训练后优化方法综述,87页pdf
LLM4SR:关于大规模语言模型在科学研究中的应用综述
专知会员服务
42+阅读 · 2025年1月9日
缺失数据统计分析,第三版,462页pdf
专知
50+阅读 · 2020年2月28日
从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
相关性≠因果:概率图模型和do-calculus
论智
31+阅读 · 2018年10月29日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
放弃 RNN/LSTM 吧,因为真的不好用!望周知~
人工智能头条
19+阅读 · 2018年4月24日
YesOfCourse团队在Kaggle文本匹配竞赛中获得优异成绩
中国科学院网络数据重点实验室
10+阅读 · 2017年6月15日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Arxiv
0+阅读 · 6月2日
VIP会员
最新内容
《面向国防领域的大语言模型基准测试与适配》
专知会员服务
12+阅读 · 10月28日
世界模型入门:从序贯决策到通用智能体
专知会员服务
14+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
12+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
17+阅读 · 10月20日
相关VIP内容
什么是后训练?大语言模型训练后优化方法综述,87页pdf
LLM4SR:关于大规模语言模型在科学研究中的应用综述
专知会员服务
42+阅读 · 2025年1月9日
相关资讯
缺失数据统计分析,第三版,462页pdf
专知
50+阅读 · 2020年2月28日
从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
相关性≠因果:概率图模型和do-calculus
论智
31+阅读 · 2018年10月29日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
放弃 RNN/LSTM 吧,因为真的不好用!望周知~
人工智能头条
19+阅读 · 2018年4月24日
YesOfCourse团队在Kaggle文本匹配竞赛中获得优异成绩
中国科学院网络数据重点实验室
10+阅读 · 2017年6月15日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员