Scientific papers make claims about prior work backed by citations. Verifying those citations at scale (that each cited paper exists, says what the citation claims, and is itself reliable) is structurally beyond what human review can deliver: a typical paper has dozens of citations, and a careful reviewer reads at most a handful end-to-end. AI-assisted writing makes this gap even more urgent: LLMs hallucinate references and may fill in plausible details from titles or abstracts of papers they never read, worse for the smaller local-weights models that privacy-aware researchers must use. sciwrite-lint applies the linting paradigm from software engineering to citation verification: it runs entirely on the researcher's machine (free public databases, a single consumer GPU, and open-weights models), is fast enough to re-lint between revisions so authors catch problems at the source while drafting, and serves journals and reviewers as an automated first pass. The pipeline checks reference existence, metadata accuracy, retraction status, and claim support, traverses one level into cited papers' bibliographies, and produces per-reference reliability scores. We evaluate on 30 unseen papers (arXiv and bioRxiv) with error injection and LLM-adjudicated false-positive analysis. The same linting workflow extends to internal consistency: numbers in text vs. tables, abstract vs. body, figure captions vs. content, statistical results vs. their verbal interpretation, plus structural cross-references (dangling cites, orphan references). As a separate experimental contribution we also propose SciLint Score: citation-chain integrity combined with a contribution component operationalizing five philosophy-of-science frameworks (Popper, Lakatos, Kitcher, Laudan, Mayo).


翻译:科学论文通过对前人工作的引用加以论证。大规模验证这些引用(即确保每篇被引文献真实存在、其内容与论文所声称的相符,且自身具备可靠性)在结构上超出了人类审稿的能力范围:一篇典型论文有数十条引用,而一位严谨的审稿人最多能通篇细读其中寥寥数篇。AI辅助写作使这一鸿沟更加严峻:大语言模型会虚构参考文献,并可能从它们从未通读过的论文的标题或摘要中填充看似合理的细节——这一点对于隐私意识强的研究者必须使用的较小规模的本地权重模型而言更为严重。sciwrite-lint将软件工程中的代码检查(linting)范式应用于引用验证:它完全在研究者本地机器上运行(依赖免费的公共数据库、一块消费级GPU和开放权重的模型),速度快到可在修订期间重新检查,使作者能在撰稿过程中及早源头发现问题;同时,它为期刊和审稿人提供自动化的首轮验证。该流水线检查文献存在的真实性、元数据准确性、撤稿状态以及声明支持度,并深入一层检查被引论文的参考文献列表,最后为每条引用生成可靠性评分。我们在30篇未见过的论文(来自arXiv和bioRxiv)上进行了评估,采用了错误注入和大语言模型裁决的假阳性分析。相同的检查流程还可扩展到内部一致性验证:正文与表格中的数字、摘要与正文、图注与内容、统计结果与其文字诠释,以及结构性的交叉引用(如悬空引用、孤立参考文献)。作为另一项实验性贡献,我们还提出了SciLint评分:将引用链完整性结合一个贡献组分,该组分将五种科学哲学框架(波普尔、拉卡托斯、基切尔、劳丹、梅奥)操作化。

0
下载
关闭预览

相关内容

论文(Paper)是专知网站核心资料文档,包括全球顶级期刊、顶级会议论文,及全球顶尖高校博士硕士学位论文。重点关注中国计算机学会推荐的国际学术会议和期刊,CCF-A、B、C三类。通过人机协作方式,汇编、挖掘后呈现于专知网站。
【AI4Science】Nature刊文综述人工智能时代的科学发现
专知会员服务
75+阅读 · 2023年8月8日
【2023新书】AI4Science,人工智能促进科学发现,134页pdf
专知会员服务
205+阅读 · 2023年4月5日
如何撰写优秀科研论文【附112页文章下载】
人工智能Paper精读班,视频讲解+代码实现
AINLP
17+阅读 · 2019年5月31日
机器翻译学术论文写作方法和技巧
清华大学研究生教育
11+阅读 · 2018年12月23日
TextInfoExp:自然语言处理相关实验(基于sougou数据集)
全球人工智能
12+阅读 · 2017年11月12日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
无人机自主控制与人工智能:系统性综述
专知会员服务
5+阅读 · 今天7:25
巡飞弹与反无人机系统——现代战场的两大支柱
专知会员服务
2+阅读 · 今天6:54
《打造“黄金舰队”》57页报告
专知会员服务
1+阅读 · 今天6:52
《北约数字教官网络发展路径》128页报告
专知会员服务
1+阅读 · 今天6:33
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
6+阅读 · 6月25日
网状网络及其在军事领域的运用
专知会员服务
7+阅读 · 6月25日
无美国参与的欧洲战争方式(万字长文)
专知会员服务
8+阅读 · 6月25日
《国防领域敏感性分析白皮书》
专知会员服务
9+阅读 · 6月25日
综述 | 从问答到任务完成:Agent系统与Harness设计
Agentic RL:框架、实践与长程智能体训练
专知会员服务
10+阅读 · 6月24日
相关VIP内容
【AI4Science】Nature刊文综述人工智能时代的科学发现
专知会员服务
75+阅读 · 2023年8月8日
【2023新书】AI4Science,人工智能促进科学发现,134页pdf
专知会员服务
205+阅读 · 2023年4月5日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员