The foundation of reproducible science lies in protocols that are precise, logically ordered, and executable. The autonomous generation of these protocols through natural language queries could greatly improve the efficiency of the reproduction process. However, current leading large language models (LLMs) often generate incomplete or inconsistent protocols, limiting their utility. To address this limitation, we first introduce SciRecipe, a large-scale dataset of over 12K structured protocols spanning 27 biological subfields and encompassing both comprehension and problem-solving tasks. To further improve protocol generation, we propose the "Sketch-and-Fill" paradigm, which separates analysis, structuring, and expression to ensure each step is explicit and verifiable. Complementing this, the structured component-based reward mechanism evaluates step granularity, action order, and semantic fidelity, aligning model optimization with experimental reliability. Building on these components, we develop Thoth, trained through a staged Knowledge-to-Action process that progresses from knowledge acquisition to operational reasoning and ultimately to robust, executable protocol generation. Across multiple benchmarks, Thoth consistently surpasses both proprietary and open-source LLMs, achieving significant improvements in step alignment, logical sequencing, and semantic accuracy. Our approach paves the way for reliable scientific assistants that bridge knowledge with experimental execution. All data, code, and models will be released publicly.


翻译:可重复科学的基础在于精确、逻辑有序且可执行的实验方案。通过自然语言查询自主生成这些方案可极大提高实验复现过程的效率。然而,当前主流的大型语言模型(LLMs)生成的方案常存在不完整或不一致的问题,限制了其实用性。为突破此局限,我们首先引入SciRecipe数据集——一个涵盖27个生物子领域、包含理解与问题解决任务的大规模结构化方案数据集,规模超过12K。为进一步提升方案生成质量,我们提出"草图-填充"范式,将分析、结构化与表达三个环节分离,确保每个步骤都具备明确性和可验证性。与之互补的结构化组件奖励机制通过评估步骤粒度、操作顺序和语义保真度,使模型优化与实验可靠性要求对齐。基于这些组件,我们开发了Thoth模型,采用分阶段的"知识到行动"训练流程:从知识获取逐步推进至操作推理,最终实现稳健可执行的方案生成。在多项基准测试中,Thoth持续超越专有及开源LLMs,在步骤对齐、逻辑顺序和语义准确性方面取得显著提升。我们的研究为构建连接知识与实验执行的可靠科学助手开辟了新路径。所有数据、代码和模型将公开发布。

0
下载
关闭预览

相关内容

评估大语言模型在科学发现中的作用
专知会员服务
19+阅读 · 2025年12月19日
大语言模型中的检索与结构化增强生成综述
专知会员服务
32+阅读 · 2025年9月17日
【博士论文】《自然语言处理中的因果推理》
专知会员服务
22+阅读 · 2025年4月25日
生成技术在时空数据挖掘中的应用
专知会员服务
39+阅读 · 2024年6月5日
《利用 ChatGPT 实现高效事实核查》
专知会员服务
47+阅读 · 2023年10月25日
强化学习与文本生成
微信AI
41+阅读 · 2019年4月4日
自然语言处理(NLP)知识结构总结
AI100
51+阅读 · 2018年8月17日
TextInfoExp:自然语言处理相关实验(基于sougou数据集)
全球人工智能
12+阅读 · 2017年11月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月12日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员