论文 | OmniScientist：全模态、全学科人工智能科学家

导读

自动化科学发现已经从“帮研究者写代码、画图、写论文”走向更完整的研究工作流：提出假设、执行实验、分析结果、撰写论文、再自我审查。但这篇论文指出，一个更基础的问题仍未解决：科学发现并不只依赖文字、代码和预先计算好的标量特征，而是依赖原始证据中的空间结构、时间动态、跨通道关系和实验过程。 OmniScientist 的目标，就是让人工智能科学家直接面对多学科、多模态的原始证据。系统由感知层和三个自治智能体组成，分别负责构思、实验和写作；在确定性流水线控制下，原始观察可以影响研究问题、实验设计、结果检查和最终论文主张。作者还用代码化检查约束新颖性、统计有效性、执行出处和数值可追溯性。论文在 36 个真实数据案例上评估系统，覆盖 5 个学科族、4 类科学证据和图像、信号、音频、视频、三维结构、轨迹、表格、公式、图等模态。系统在全部 36 个案例中完成了从原始数据到可编译论文的完整路径；与只能读取预计算标量特征的盲变体相比，直接感知提升全部 7 个评测维度，并赢得 85% 的两两比较。图1：OmniScientist 总览。左侧是跨学科原始观测，中间是统一科学引擎，右侧是系统发现的代表性科学结果；核心循环包括感知、假设、实验、报告和反馈。

论文信息

论文题目：OmniScientist: An Omni-Modal Omni-Discipline AI Scientist 作者：Bobo Li、Hao Fei、Tianjie Ju、Mong-Li Lee、Wynne Hsu 机构：新加坡国立大学、牛津大学论文链接：https://arxiv.org/abs/2608.13558 项目主页：https://omni-scientist.github.io 代码与技能：https://github.com/Omni-Scientist/OmniScientist

引言：证据不完整的科学智能体

当前人工智能科学家已经能覆盖越来越多可见研究流程：从研究方向出发，自动生成想法、编写可运行代码、产出实验图表、撰写论文并进行自评。但论文认为，工作流完整并不等于证据完整。许多系统实际面对的是人类预先整理好的文字、标签、代码、表格或统计摘要，原始观测中的关键关系在进入智能体前已经被压缩掉了。科学证据天然具有复杂结构。显微图像、病理切片、地震波形、鸟鸣音频、雷达视频、三维点云、轨迹、知识图谱、公式和序列，都承载着不同的空间、时间、跨通道、统计和过程关系。把这些证据提前变成少数特征，可能会删除局部形态、时间顺序、跨通道一致性或异常模式。因此，OmniScientist 的核心命题是：原始证据应当贯穿整个研究生命周期，而不是只在某个局部阶段被调用。观察应该影响问题选择，影响实验设计，影响执行后的结果检查，也影响最终论文中哪些主张可以被写入。作者的贡献可以概括为三点：提出一个端到端、全模态、跨学科的人工智能科学家；构建感知优先的多智能体架构，并用代码检查约束新颖性、严谨性和主张可追溯性；建立 36 个真实数据案例组成的演示套件，证明直接感知对科学发现具有决定性作用。

问题设定：科学证据与任务套件

论文把科学证据分为四大家族。感知型证据包括图像、视频、显微图、雷达、天文与遥感影像、科学图表视觉形态、音频和三维结构；符号型证据包括自然语言、公式、变量、规则、序列、知识图谱和数学对象；定量统计型证据包括表格、测量、分布、曲线、相关性、显著性检验和回归结果；过程动态型证据包括实验步骤、代码执行、智能体轨迹、仿真、动态演化和协议。任务输入是一个规格文件，包含数据集、科学主题、目标属性和相应原始数据。除此之外，系统不被提供具体方法，必须自己形成证据驱动的研究问题、执行实验并写出论文。为了评估跨学科能力，作者构建了 36 个二级案例，覆盖 5 个顶层学科类别。每个案例都使用真实、公开可下载的数据集。这 36 个案例横跨从 12 个符号回归方程到 500 万边生物医学知识图谱的规模范围，也覆盖图像、频谱、波形、音频、视频、三维结构、表格和符号图等多种形式。感知型家族占 28 个案例，反映科学数据中图像、信号、音频、视频和三维数据的自然普遍性；其余 8 个案例提供符号、定量和过程证据的广度控制。

框架：感知层与三阶段研究流水线

OmniScientist 由一个感知层和三个自治智能体构成：构思、实验和写作。上层输入是跨学科原始证据；中间流水线依次形成可证伪假设、执行实验并撰写支持性主张；底层生命周期感知层向所有阶段提供空间、时间、跨通道、统计和动态分析能力。图2：OmniScientist 架构。原始证据先按证据家族和模态组织，随后依次进入构思、实验、写作三个阶段；底部感知层向整个生命周期提供多种证据分析能力。感知层不是简单把所有数据渲染成图片。它先按证据家族组织观测，再在家族内部根据具体模态调用相应工具。系统会优先使用原生数值分析提取关键属性，例如频谱峰值或趋势点；只有当空间或结构模式确实关键时，才调用视觉渲染。这样既避免硬编码领域启发式，也避免无意义地消耗视觉预算。图3：感知层跨案例示例。图中展示 16 个案例、11 种模态和 4 类证据家族，红框标出系统直接读取的原始记录位置，每个发现都来自对应原始观测。构思阶段要求智能体提出具体、新颖、可证伪且可计算回答的问题。系统会先清点材料并进行代表性观测，再搜索文献、生成至少 5 个候选想法，评估新颖性风险和可行性，最终选择最强候选。为了抑制幻觉和过度自信，输出必须通过 idea check：包括研究问题、假设、实验草案和证伪标准是否完整，是否进行了足够候选过滤和文献搜索，是否可由代码实验回答。实验阶段把最终想法转成方法设计和可执行代码。智能体在受控环境中迭代生成代码、运行实验、调试错误、捕获图表和标准输出。实验设计至少包含主假设检验和必要控制，例如基线、消融、机制探针或敏感性扫描。实验结束后，rigour check 会验证真实执行、统计有效性、所有尝试过的检验是否被计入，以及结果是否与原始执行记录一致。写作阶段把验证后的实验记录转成论文。系统支持不同学科的结构规格，例如机器学习论文、医学论文或化学论文可能拥有不同的章节骨架和摘要长度。写作时，每个章节只能从其可访问的结构化实验记录切片中取材；主张必须由记录中的分析支撑，数字必须能追溯到实验输出。图4：实验结果与论文主张的两阶段验证。系统先用严谨性检查验证执行、统计、泄漏和检验记录，再用主张检查把论文中的数字和结论追溯到执行记录。

评测：跨模态、跨学科、跨骨干模型

作者在 36 个真实数据案例上评测 OmniScientist。主运行使用 Sonnet 5 作为推理骨干，同时比较多种闭源与开源模型骨干。感知模型固定为 Claude Sonnet 5，以便隔离推理骨干差异。系统评估包含新颖性、严谨性、清晰度、重要性、可复现性等标准 peer-review 维度，同时增加多模态 grounding 和事实准确性两个维度。主要结果显示，系统能够在全部 36 个案例中完成从原始数据到编译论文的端到端流程。使用参考推理骨干时，生成论文平均总体得分为 6.3。最高质量论文广泛分布在不同学科类别和证据模态中，说明系统并非只在某一类视觉任务上有效。论文还做了直接感知与盲变体的对照。盲变体只能读取预计算标量特征，不能接触原始观测。结果表明，完整感知在 7 个评估维度上均有提升，其中多模态 grounding 和科学重要性增益最大；在 5 个配对案例中，感知版平均赢得 85% 的 head-to-head 判断。图5：直接感知带来的维度增益与两两判断优势。绿色为完整系统，粉色为移除感知的盲变体；完整系统在多模态 grounding、重要性、新颖性、清晰度、可复现性和严谨性等维度上均占优。

机制分析：为什么原始感知会改变研究轨迹

机制分析显示，感知驱动系统的研究问题通常建立在只有原始记录中才可见的属性上，例如病理切片的纹理、地震波形的到时形态、三维点云主轴形状、重复植物扫描中的逐点器官标签等。相反，盲基线往往依赖数据集提供的标量字段，甚至会设计出需要实际记录中不存在字段的研究。论文强调，这种差异不只是“看图更准”。直接感知会改变问题本身：智能体看到异常后，会提出不同假设、设计不同控制、执行不同分析，最终支持不同类型的科学主张。换句话说，多模态感知不是后处理工具，而是研究路径选择机制。组件消融也显示，系统中的新颖性检查、先验文献检查、反捏造检查和 agentic loop 都对最终质量有贡献。尤其是在地震案例中，移除相关组件会降低新颖性或综合得分，说明开放式发现需要感知能力与约束机制共同工作。

案例一：审计地震基准中的噪声标签

第一个案例来自地震基准审计。输入数据包含约 1500 条三分量宽带地震记录，标签只有“地震”和“噪声”。系统直接观察原始波形后发现，一些标记为噪声的轨迹存在清晰 onset-and-decay 包络，像是到时事件，而不是平稳背景噪声。图6：地震基准审计案例。左侧展示系统读取的三分量波形，右侧显示完整探测器在噪声标签轨迹中标出 21.7% 可疑事件，显著高于无标签控制。系统没有简单推翻数据标签，而是围绕冲突提出研究问题：噪声标签轨迹中究竟有多少包含一致瞬态能量？随后它构建复合探测器，将幅值、三通道时序一致性和形状特征结合起来。最终结果显示，在 750 条噪声标签轨迹中，163 条携带真实 burst，比例为 21.7%；而多个 label-agnostic 控制仅约 1.1% 到 2.0%。这说明原始波形中的时序与跨通道关系，是盲基线无法从标量特征中恢复的关键证据。

案例二：胸片纹理中的局部熵信号

第二个案例来自儿科胸部 X 光片。输入只有正常或肺炎标签，没有预计算特征。系统直接读取影像后发现，肺炎肺野并不是均匀更亮，而是局部熵更不均匀，呈现 patchy texture。它据此提出局部熵特征，并用滑动窗口分析验证。图7：儿科胸片纹理案例。左侧为正常与肺炎胸片及其局部熵图，右侧显示基于熵和斑片度的特征显著优于原始像素基线。结果显示，原始像素基线的留出集 AUC 为 0.634，而平均熵达到 0.840，patchiness 达到 0.847，二者结合达到 0.851。这表明判别信号主要来自局部结构模式，而非简单像素强度。该案例说明，直接视觉接触不仅提高性能，还能形成更可解释、更贴近医学观察的假设。

结论：人工智能科学家需要贯穿生命周期的感知

OmniScientist 的核心结论是：未来人工智能科学家不能只覆盖研究工作流，还必须覆盖科学证据本身。原始多模态证据应当进入构思、实验和写作的每个关键阶段，而不是被提前压缩为人类选择的少数特征。论文证明，一个统一引擎可以在 36 个真实案例、5 个学科族和 4 类证据家族中运行，并产出可编译论文。更重要的是，消融结果显示直接感知本身就是科学发现的关键变量：它不仅提升最终评分，还改变问题提出方式、实验路径和可支持的主张范围。从更长远看，OmniScientist 提供的是一种蓝图：人工智能科学家需要同时具备原始感知、开放式探索、代码执行、统计约束、出处追踪和论文级表达能力。只有这些能力被放在同一个可验证生命周期中，自动化科学发现才可能从“会写研究流程”走向“真正基于证据做研究”。

成为VIP会员查看完整内容