综述 | Autonomous Research Agents：AI 科学家与验证缺口

导读

大模型智能体正在进入科学研究流程：提出想法、检索文献、设计实验、写代码、运行实验、分析结果、撰写论文，甚至模拟审稿。近两年，“AI Scientist”式系统已经能产出看似完整的论文稿件，并接受自动审稿或 workshop 式评估。问题随之改变：我们不再只问智能体能不能完成一个研究任务，而要问它产出的科学声明能不能被别人验证。 这篇长综述《Autonomous Research Agents: A Survey of AI Scientists and the Verification Gap》把“验证缺口”作为组织主线。作者将范围限定在计算型 AI/ML 研究场景，因为这里的代码、实验、基准、日志和论文文本相对可检查。论文从 125 个候选记录中筛出 35 篇工作，并对其中 26 个条目做全文编码，其中包括 24 个可运行系统和 2 个研究/立场类工作。 论文最重要的发现很直白：在这些自治科研系统中，代码发布已经相对常见，但能让审稿人复现实验和验证声明的证据仍然稀缺。24 个可运行系统中，83% 发布代码，71% 发布提示词，88% 至少披露一个人类介入点；但只有 38% 发布种子或执行轨迹，只有 38% 报告任何新颖性验证方法。9 个达到闭环自治级别的系统里，7 个只是机械重跑或内部指标触发，1 个只有作者声称，只有 1 个由外部 oracle 验证，而且它早于 LLM 智能体时代。 因此，这篇综述的价值不是再画一个“AI 科学家能力分类图”，而是把研究智能体放到审计视角下：每个系统到底公开了什么？哪些结果能被复现？哪些新颖性声明有独立检查？闭环反馈是科学假设被验证后更新，还是只是指标驱动的流水线重跑？作者最后给出面向审稿人的报告清单，试图把这些问题变成可执行的披露标准。

论文信息

论文标题：Autonomous Research Agents: A Survey of AI Scientists and the Verification Gap 作者：Tianyu Ding, Aditya Nannapaneni, Bingfan Liu, Ling Zhang 论文链接：https://arxiv.org/abs/2608.05179 发布时间：2026 年 6 月 29 日 论文类型：综述论文

引言：能力之外的验证问题

论文开篇指出，LLM 科研智能体已经覆盖科研生命周期的多个环节。它们能够选择问题、生成假设、写实验代码、运行工具、分析结果、撰写论文，并用自动评审器给出反馈。看起来，AI 科学家正在从工具使用者变成端到端研究流水线。 但作者认为，能力和可信度必须分开看。一个系统能生成论文，不代表它真的做出了发现；一个系统能跑出高分，不代表它的基线、公平性、新颖性和选择过程都经得起检查。生成式系统尤其容易出现弱基线、不可复现实验、幻觉引用、从多次尝试中挑选最好结果、自动评审与生成器同源等问题。

图1 自治科研智能体的演化图：2023 至 2026 年系统能力不断扩展，但验证、审计和复现证据仍是稀疏分支。 作者将全文组织为一条审计链：先构建公开可检查的编码语料，再映射生命周期和自治等级，然后分析审计缺口，接着用验证信号阶梯区分强弱证据，最后形成审稿人可操作的报告清单。

图2 综述阅读框架：编码语料进入生命周期与自治性地图，再导向审计缺口、验证阶梯和报告清单。

背景：从可验证自动化到开放式智能体

第二节回顾自治科研并非从 LLM 开始。早期 Robot Scientist、自驱动实验室、主动学习材料平台等系统，往往有物理测量、实验仪器或形式化检查作为外部信号。它们的自治性未必像今天的 LLM 智能体那样通用，但很多环节更容易被验证。 LLM 时代的变化在于，研究流程被语言模型串成更长的开放式链条：文献、代码、实验、图表、论文写作和评审都能被自动化。但验证信号并没有同等速度增长。尤其在想法生成、论文撰写、自动审稿和多智能体讨论中，系统常常依赖模型自己的判断、另一个模型的评价或人类事后阅读，而不是可执行测试、物理测量或形式证明。 这也是论文反复强调的差异：自动化执行和自动化科学判断不是一回事。一个系统可以自动跑实验，但是否真的提出了新颖假设、是否排除了替代解释、是否正确选择和报告结果，仍然需要更强的外部证据。

语料与编码方法

第三节说明语料构建。作者使用 12 类跨阶段查询，从 2023 年到 2026 年 6 月的公开记录中检索 AI scientist、autonomous research agent、automated scientific discovery，以及 idea generation、automated peer review、coding agent、data analysis、closed-loop discovery、paper writing 等阶段词。初始得到 144 条记录，去重后保留 125 条。 经过标题摘要和全文两轮筛选，论文纳入 35 项工作；其中 26 个条目被全文编码，包含 24 个可运行系统和 2 个研究/立场工作。编码维度有 7 个：生命周期阶段、自治等级、评估方法、释放工件、人类介入点、新颖性验证方法、结果选择披露。

图3 语料切片与支撑的声明：论文从 125 个去重候选中筛出 35 项工作，并全文编码 26 个重点条目。 作者也坦诚说明编码可靠性：二次编码样本在工件释放上的一致性较高，但自治等级、新颖性方法和选择披露的一致性较低。因此，论文将这些比例视为方向性审计证据，而不是精确排名。这个谨慎态度很重要，因为它避免把“审计标签”误当成系统能力排行榜。

生命周期与自治性地图

第四节建立生命周期与自治性地图。生命周期覆盖想法生成、文献综述、假设生成、实验设计、编码、执行、分析、写作、评审和闭环迭代。自治等级则从低到高描述系统在主动性、判断、执行、迭代和问责上的能力。 论文特别区分闭环自治的两种情况。L4-m 是机械闭环：系统会根据内部指标、固定规则或任务成功分数重新运行或重拟合。L4-v 是验证闭环：系统的下一步由外部 oracle 决定，例如物理测量、独立检查器或形式验证器。这个区分抓住了 AI 科学家评估中的核心问题：闭环不等于科学自我修正，只有外部验证信号进入闭环，才更接近可信的发现过程。 在编码语料中，生命周期覆盖更多集中在实验执行、分析、编码和实验设计；文献综述与真正闭环迭代相对薄弱。更关键的是，虽然很多系统声称端到端或闭环，但公开材料中能够支持复现和声明验证的证据不足。

想法、文献、实验与评审智能体

第五至第八节按科研生命周期梳理不同类型系统。 想法与假设生成智能体包括文献条件化想法生成、知识图谱支撑的 proposal、迭代搜索、多智能体辩论和锦标赛式选择。这类系统的难点是“新颖性”和“有效性”没有廉价真值。一个想法看起来新，不等于文献中不存在；一个想法被 LLM 评审器打高分，也不等于能够通过真实实验。 文献与写作智能体覆盖 survey 生成、related work 生成、deep research、引用归因和系统综述辅助。这里的验证重点从“是否写得通顺”转为“每个声明是否有来源支撑、引用是否对应原文、综述是否遗漏关键反证”。论文指出，引用和来源 grounding 能提供比模型自评更强的信号，但仍然需要可审计的检索记录和证据链。 编码、执行与分析智能体是当前最容易获得强验证的方向，因为代码可以运行，测试可以失败，benchmark 可以给出数值。软件工程智能体、数据分析智能体和实验执行系统在这里有较强基础。但作者提醒，benchmark 分数只证明系统达到某个目标，不自动证明它的方法合理；如果测试泄漏、基线弱、预算不透明或选择性报告，结果仍然可能不可审计。 评审与闭环研究智能体包括自动同行评审、多智能体批判、闭环实验系统和 AI Scientist 类型流水线。论文最关心的是：评审器是否独立于生成器？闭环反馈是否来自外部事实？多智能体共识是否真的提升正确性，还是只是在相同模型偏见下互相说服？作者认为，只靠模型之间的讨论不能构成强验证。

验证信号与基准资源

第九节提出验证信号阶梯，把不同研究领域按最强可用检查信号排序。最高层是形式验证器，例如证明助手；其次是可执行测试或过程奖励；再是物理 oracle 或模拟器；中间是引用和来源 grounding；更弱的是代理指标、人工专家判断、弱多智能体日志，最低是模型自己的判断。

图4 验证信号阶梯：从模型自评到形式验证器，自治研究的可信度取决于检查信号的独立性和抗操纵性。 这个阶梯解释了为什么定理证明、代码生成和某些自驱动实验室更容易做出可信自治闭环：它们拥有证明内核、可执行测试、物理仪器或模拟器。而想法生成、论文写作、自动评审和开放式研究规划则更依赖软判断，验证缺口也更大。 第十节进一步讨论基准、框架和资源。现有 benchmark 擅长衡量任务完成，例如 Kaggle 式数据分析、ML 工程、代码修复、图表理解、研究复现等。但很多基准仍不擅长检查复现性、科学合理性、闭环有效性、成本和推理预算。污染问题也很突出：当 benchmark 本身被模型见过或被系统调参优化，分数就不再代表真实研究能力。

审计缺口

第十一节是全文的核心分析。作者把当前评价代理与真实失败模式逐一对应：benchmark 成功可能掩盖弱基线和过拟合；自动评审可能掩盖循环评价；论文稿件可能掩盖不可复现实验；多次尝试后只报告最好结果会制造选择偏差；闭环重跑可能只是指标循环，而不是科学假设被证伪和修正。 审计披露率表把问题量化。24 个可运行系统中，83% 释放代码，71% 释放提示词，88% 披露至少一个人类介入点；但只有 38% 释放种子或执行轨迹，只有 38% 报告新颖性验证方法。9 个 L4 闭环系统里，7 个是工件支撑但机械式闭环，1 个是作者声称且缺少外部检查，只有 1 个外部验证，且早于 LLM 时代。

图5 审计披露率：代码和人类介入点披露较常见，但种子轨迹、新颖性验证和外部验证闭环明显不足。 第十二节将安全、完整性和治理也视为审计失败。科研智能体可能生成错误声明、操纵评审、污染 benchmark、选择性报告、产生双重用途风险，或者在长期记忆中积累不可追溯状态。作者的观点是，这些不只是抽象安全问题，而是“无法检查系统如何得出结论”的审计问题。

前沿方向

第十三节讨论多个前沿。 持续记忆和自我改进会带来审计债务：系统越能从历史中学习，越需要记录状态来源、更新过程和可回滚轨迹。否则，后续发现可能依赖无法解释的累积记忆。 Agentic RL 训练把问题推向奖励验证：如果奖励函数本身难以检查，智能体可能学会迎合代理目标而非科学真实。闭环系统最需要的是能被重新运行、能被独立挑战的奖励和验证协议。 不确定性、校准和拒答应成为验证原语。科研智能体不应只输出答案，还应说明证据强度、失败条件、替代解释和何时需要人类或外部仪器介入。 负结果和失败复现也很重要。论文把复现危机语境引入 AI 科学家讨论：如果人类科学已经受选择性报告和复现困难困扰，那么自动化系统会放大这些问题，除非从一开始就要求轨迹、种子、预算、尝试次数和选择策略。 多智能体合作也需要校准监督。多个模型之间的共识并不等于真相；如果评审器、生成器和辩论者共享训练分布和偏见，互评可能只会提高表面信心。真正有价值的是独立验证器，而不是更多同源意见。

报告清单、局限与开放问题

第十四节给出面向审稿人的报告清单。清单把每项披露与对应失败模式绑定：代码释放对应不可复现实验；种子和执行轨迹对应可重跑工件；新颖性验证方法对应新颖性夸大；尝试次数和选择策略对应结果选择偏差；基线来源和强度对应弱基线；评审器独立性对应循环评价；假设预注册对应问题偏置。

图6 面向自治科研智能体的报告清单：每项披露都对应一种失败模式和最低证据要求。 第十五节讨论威胁有效性。作者承认，语料是截至 2026 年中期的快照，领域变化很快；部分编码维度存在主观性；公开材料缺失不一定代表系统内部没有做这些检查。但论文认为，方向性结论仍然稳健：代码公开比复现级披露和新颖性验证更常见，且 LLM 时代系统尚未展示清楚的外部验证闭环。 最后一节给出六个开放问题：如何验证闭环代理指标是否对应科学真实；如何设计真正测试假设修正的闭环验证器；如何在文献规模上审计新颖性；如何构建独立于生成器的智能体评审；如何让种子、轨迹、预算和选择策略成为默认披露；如何治理具备长期记忆和自我改进能力的科研智能体。

总结

这篇综述给 AI 科学家研究泼了一盆必要的冷水，也提供了一套更成熟的判断框架。它并不否认自治科研智能体的能力增长，而是提醒我们：完成任务、生成论文、跑出分数，与产出可验证科学声明之间还有距离。 如果未来 AI 科学家要进入真实科研共同体，关键不只是更强模型、更长上下文或更多工具，而是更强的审计证据：可重跑代码、完整种子和执行轨迹、清楚的结果选择策略、独立新颖性检查、强基线来源、外部验证 oracle，以及与生成器分离的评审机制。换句话说，AI 科学家的下一步不是只追求“能做研究”，而是让别人能检查它究竟做了什么、为什么可信、哪里可能错。