博士论文 | AI for Science：从科学神经建模到语言模型智能体

导读

这篇 CMU 机器学习系博士论文《AI Methods for Science: Neural Modeling and Language Model Agents》来自 Shanda Li，完成于 2026 年 7 月。论文的核心问题非常清晰：AI for Science 不只是把一个深度模型套到科学数据上，也不只是让大模型写几段代码；真正有价值的科学智能系统，需要同时理解科学对象的结构、数值计算的约束、实验预算的限制，以及科研流程本身的反馈机制。 作者将整篇论文组织为两条互补路线。第一条路线是“科学神经建模”：围绕长上下文 Transformer、相对位置编码、傅里叶神经算子、分子生成流等问题，设计更适合科学数据和科学规律的神经模型。第二条路线是“语言模型智能体”：围绕推理计算分配、偏微分方程求解器生成、扩展律实验设计、科研代码仓库复现审计等任务，研究大语言模型如何进入真实科研工作流。 这篇论文的价值不在于提出单一模型，而在于给出了一条较完整的 AI for Science 技术路径：底层模型需要能表示函数、序列、物理场和分子结构；上层智能体需要能做推理、写程序、调用反馈、规划实验并审计结果。换句话说，AI for Science 的下一阶段，很可能不是“一个更大的模型解决一切”，而是由科学建模模块、推理模块、代码执行模块和实验反馈模块组成的复合系统。

1 Introduction | 引言

论文开篇指出，现代科学研究正在面对一种双重压力：一方面，科学数据的规模和复杂度不断提高，从长序列、生物分子、物理场到科研代码仓库，都包含高维、非欧式、跨模态和强约束结构；另一方面，科研流程本身也越来越依赖计算，包括模拟、推理、实验设计、代码复现和结果审计。 传统机器学习方法通常将科学任务视为普通预测问题：给定输入，输出标签或数值。但在许多科学场景中，真正困难的部分并不是拟合一个函数，而是如何尊重科学对象的结构。例如，长上下文建模需要跨越远距离依赖；偏微分方程求解需要考虑数值稳定性和边界条件；分子设计需要同时满足结构、属性和生成可行性；科研复现则需要理解代码、环境、数据依赖与报错反馈之间的关系。 作者因此把 AI for Science 拆成两个层级。第一个层级是神经建模方法，关注如何让模型更好地编码科学数据中的结构。第二个层级是语言模型智能体，关注如何让模型参与科学工作流，完成推理、编程、实验选择和复现审计等更开放的任务。这两个层级并不是割裂的：前者解决“表示什么、如何表示”，后者解决“如何在动态环境中使用这些表示完成科学问题”。

论文主线

论文的主线可以概括为三个关键词：结构、计算和反馈。 “结构”指科学问题中的先验形式，例如相对位置、频域表示、算子映射、分子流形和代码仓库依赖关系。好的 AI for Science 模型不能只依赖数据量，还需要把这些结构纳入模型设计。 “计算”指训练和推理预算。论文多次强调，科学智能系统往往受到显著的算力、实验成本和数据采样成本约束，因此需要研究长度外推、超参数迁移、推理计算分配和主动实验选择。 “反馈”则是第二部分的关键。语言模型智能体不能停留在一次性生成文本，而要接收数值误差、执行结果、实验观测和 GitHub issue 等外部反馈，在循环中改进解决方案。

Part I Neural Modeling Methods | 第一部分：科学神经建模方法

第一部分聚焦神经网络本身的建模能力。作者选择了四类具有代表性的科学与序列建模问题：长上下文语言模型、线性相对位置编码、傅里叶神经算子和多模态分子生成。这些问题看似分散，但共同指向一个核心目标：让模型在有限训练条件下获得更强的结构泛化能力。 在科学应用中，模型常常需要面对训练分布之外的输入长度、分辨率、物理参数或目标条件。如果模型只能在训练设置附近工作，科学价值会明显受限。因此，这一部分特别强调外推、迁移和免训练适配。

2 Functional Interpolation for Relative Positions Improves Long Context Transformers | 长上下文位置编码

长上下文建模是大模型和科学序列建模中的共同瓶颈。Transformer 的注意力机制虽然可以显式连接任意位置，但位置编码往往决定了模型能否在训练长度之外稳定外推。很多常见相对位置方法在训练窗口内表现良好，一旦上下文变长，就会出现位置分布偏移、注意力退化或困惑度上升。 本章提出 FIRE，即 Functional Interpolation for Relative Positions。其关键思想是把相对位置偏置从离散表格或固定函数，转化为可插值的连续函数表示。这样，模型在训练时学习到的相对位置结构，可以通过函数插值方式推广到更长上下文，而不是简单依赖未见过的位置索引。

方法要点

FIRE 的设计关注两个层面。第一，它让相对位置偏置具备连续可推广性，使模型在更长上下文中仍能获得有意义的位置关系。第二，它避免为每个距离单独学习不可外推的参数，从而提升长度泛化和参数效率。 这种方法对于科学文本、代码、时间序列和长文档建模都有直接意义。很多科学任务的有效证据并不集中在局部窗口内，而是分散在长篇论文、实验记录、日志、轨迹或历史观测中。位置编码如果不能外推，长上下文模型就会在工程上“看得见”，但在表示上“用不好”。

3 Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers | 线性相对位置编码

第三章继续研究位置编码，但重点从长上下文外推转向相对位置编码的频域解释。许多线性相对位置编码在实践中有效，却缺少统一理解：它们为什么能表示相对距离？它们如何影响注意力谱结构？是否可以学习一种更适合任务的变换，而不是固定使用人工设计的形式？ 作者提出 FLT，即 Learning a Fourier Transform for Linear Relative Positional Encodings。该方法把相对位置编码与傅里叶变换联系起来，尝试学习一种任务适配的频域映射，使 Transformer 能更灵活地表示相对位置信息。

核心贡献

本章的重要贡献在于把位置编码问题从“选哪种偏置形式”提升到“学习哪种函数空间表示”。傅里叶视角天然适合处理周期性、平滑性和多尺度结构，这些结构在科学数据中非常常见，例如波动、振荡、时间序列、空间场和频域信号。 从系统角度看，FLT 与 FIRE 构成互补：FIRE 强调在长度维度上的函数插值和外推；FLT 强调用可学习频域变换增强线性相对位置编码的表达能力。二者都服务于同一个目标，即让 Transformer 不只是记住训练位置，而是学习可迁移的位置关系。

4 Maximal Update Parametrization and Zero-Shot Hyperparameter Transfer for Fourier Neural Operators | 神经算子的超参迁移

傅里叶神经算子是科学机器学习中的重要模型，常用于学习函数到函数的映射，例如从初始条件到未来物理场，从边界条件到解函数。与普通神经网络不同，神经算子面对的是连续函数空间，因此它们对分辨率、网格大小、频域截断和训练超参数非常敏感。 本章关注一个非常实际的问题：在不同模型规模、不同分辨率或不同任务设置之间，能否实现超参数的零样本迁移？如果每次训练傅里叶神经算子都需要重新搜索学习率、初始化尺度和优化设置，那么科学建模的成本会显著提高。 作者将最大更新参数化思想引入傅里叶神经算子，提出 µTransfer-FNO。其目标是让小规模模型上调好的超参数，可以直接迁移到更大规模或更高分辨率的模型上，而不需要重新进行昂贵搜索。

实验意义

从图示结果可以看到，标准参数化下不同学习率的训练稳定性差异明显，而 µTransfer-FNO 试图让训练动态在尺度变化时保持一致。这对科学计算尤其重要，因为真实模拟任务往往需要在低分辨率上快速试验，再迁移到高分辨率或更复杂条件下运行。 这章的贡献不只是一个训练技巧，更体现出 AI for Science 中“计算预算敏感”的核心逻辑：如果模型方法不能降低调参和重训成本，就很难进入实际科学工作流。

5 TFG-Flow: Training-free Guidance in Multimodal Generative Flow | 多模态生成流的免训练引导

第五章转向分子设计。分子生成是 AI for Science 中最具代表性的应用之一，因为它同时涉及离散结构、连续几何、多目标属性和可合成性约束。很多生成模型可以产生分子样本，但当研究者希望按照特定属性或多模态条件引导生成时，通常需要额外训练、微调或设计复杂奖励函数。 TFG-Flow 的目标是实现免训练引导：在不重新训练生成模型的情况下，通过引导机制把模型推向更符合目标条件的区域。这样可以降低分子设计中的适配成本，并使已有生成流模型更容易被用于不同属性目标。

方法机制

该方法可以理解为在生成流过程中加入外部目标信息，使采样轨迹朝着期望属性移动。与重新训练模型相比，免训练引导更适合快速探索，因为科研人员可以在不同目标之间切换，而不必为每个目标重新构建训练管线。 对于药物发现和材料设计，这种思想尤其有价值。真实应用通常不是追求单一指标，而是同时考虑活性、稳定性、毒性、结构多样性和合成约束。多模态生成流如果能在保持生成质量的同时接受灵活引导，就更接近实用的科学设计工具。

Part II Language Model Agents for Scientific Workflows | 第二部分：科学工作流中的语言模型智能体

第二部分从“模型如何表示科学对象”转向“模型如何参与科学流程”。这也是整篇论文最具时代感的部分：大语言模型已经不只是文本生成器，而是可以读题、写代码、运行程序、解释错误、选择实验、审计仓库的工作流组件。 作者没有把语言模型智能体描述成全自动科学家，而是更谨慎地研究其可测量能力边界：推理时多花多少计算是值得的？模型生成的 PDE 求解器如何用数值误差反馈改进？有限实验预算下如何拟合扩展律？真实 GitHub issue 能否成为可复现性审计的监督信号？这些问题都比“让模型做科研”更具体，也更接近落地。

6 Inference Scaling Laws: An Empirical Analysis of Compute-Optimal Inference for LLM Problem-Solving | 推理扩展律

第六章研究推理阶段的扩展律。传统扩展律多关注训练阶段：模型更大、数据更多、训练计算更多时，性能如何变化。但对语言模型智能体来说，推理阶段同样消耗大量计算。一次任务可以采样多个答案、执行多轮自洽、进行搜索或调用验证器，因此“推理时该花多少计算”成为关键问题。 作者通过经验分析研究计算最优推理策略，考察不同推理预算下问题求解性能的变化。其核心问题是：在给定模型和任务下，继续增加推理样本或推理步骤是否仍然值得？什么时候应当换更强模型，什么时候应当让现有模型多思考？

科学工作流价值

科学任务通常具有高成本验证过程，例如数值模拟、定理检查、实验设计和代码运行。推理扩展律可以帮助系统决定如何分配计算：是生成更多候选方案，还是把预算用于更强的模型、更长的上下文或更精细的执行反馈。 这章为后续章节提供了方法论基础。CodePDE、SL² 和 ReproRepo 都不是单次问答任务，而是需要多步推理、执行和评估的工作流。理解推理计算的边际收益，是构建可靠语言模型智能体的前提。

7 CodePDE: An Inference Framework for LLM-Driven PDE Solver Generation | 偏微分方程求解器生成

第七章提出 CodePDE，用于让语言模型生成偏微分方程求解器。PDE 求解是科学计算的核心任务之一，但它对数学形式、离散化方案、边界条件、稳定性和误差控制都有严格要求。让语言模型直接给出答案并不可靠，更合理的方式是让模型生成可执行求解器，再通过数值反馈不断修正。 CodePDE 将问题形式化为一个推理框架：语言模型读取 PDE 问题描述，生成求解代码，执行后获得误差或失败信息，再基于反馈修改方案。这里的关键不只是代码生成，而是把执行环境和误差信号纳入推理闭环。

反馈闭环

这一章体现了语言模型智能体与普通文本模型的区别。普通模型的输出一旦生成就结束，而智能体可以通过外部工具检验自己的输出。对 PDE 来说，这种检验非常必要，因为看似合理的解析说明或代码片段，可能在网格、边界或时间步长上完全错误。 CodePDE 的意义在于把科学计算问题转化为“可执行、可评估、可迭代”的任务。它也说明，未来科学智能系统的可靠性很大程度上来自外部反馈机制，而不是单纯依赖语言模型的内部知识。

8 Spend Less, Fit Better: Budget-Efficient Scaling Law Fitting via Active Experiment Selection | 预算高效扩展律拟合

第八章研究扩展律拟合中的实验预算问题。扩展律对机器学习系统设计非常重要，可以帮助研究者预测更大模型、更长训练或更多数据下的性能。但拟合扩展律本身需要大量实验点，而每个实验点都可能意味着训练一个模型或运行一组昂贵实验。 作者提出 SL²，通过主动实验选择在有限预算下更高效地拟合扩展律。核心思想是，系统不应平均地、被动地采样实验配置，而应根据已有观测选择最有信息量的下一组实验，从而用更少成本获得更可靠的趋势估计。

主动选择

这章把 AI for Science 中常见的“实验设计”思想带入模型扩展研究。很多研究者关心最终的大规模结果，但真正可用的预算往往只允许做少量小规模实验。主动选择机制可以决定哪些模型规模、数据规模或训练预算最值得尝试。 与第六章的推理扩展律相比，第八章关注训练或实验层面的扩展律拟合；二者共同构成一套预算意识：推理计算要优化，训练实验也要优化。科学智能系统如果能主动规划实验，就能从被动执行工具变成更接近研究助理的系统。

9 ReproRepo: Scaling Reproducibility Audits with GitHub Repository Issues | 可复现性审计

第九章讨论科研复现，这是整篇论文中最贴近现实科研痛点的部分。大量机器学习论文公开了代码仓库，但复现仍然困难：依赖版本不一致、数据下载失效、训练脚本缺少说明、硬件假设不清、报错信息无人处理。传统复现审计依赖人工阅读和运行，规模很难扩大。 ReproRepo 试图利用 GitHub repository issues 扩展可复现性审计。其基本判断是：真实用户在仓库中提交的问题，往往包含了复现失败、环境配置、缺失文件、结果不一致等信号。语言模型可以读取这些 issue，并推断仓库的复现风险和问题类型。

审计框架

该框架把开放源代码生态中的自然反馈转化为可分析数据。相比仅阅读 README 或论文，issue 反映的是代码在真实用户环境中的运行状况，因此更接近可复现性的实际难点。 这一路线也提示我们，科学智能体不一定要从零做实验。它可以先利用已有社区反馈，帮助研究者发现哪些仓库可复现性较弱、哪些错误最常见、哪些项目需要补充依赖说明或脚本修复。对大规模论文与代码审计而言，这是一种很实用的切入点。

模型表现

论文还比较了不同模型在 ReproRepo 任务上的表现。结果表明，复现审计不是简单分类任务，它需要模型理解科研代码语境、错误描述、用户反馈和仓库维护状态。模型越强，通常越能处理跨文件、跨语境和含糊问题，但仍然需要结构化任务定义和可靠评测。 这一章与前面的 CodePDE 形成呼应：CodePDE 关注模型如何写出可运行科学代码，ReproRepo 关注模型如何审计已有科研代码能否复现。一个面向科学的语言模型智能体，最终应当同时具备生成、执行、调试和审计能力。

10 Conclusion | 结论

论文最后总结了 AI for Science 的两条发展线索。第一，科学神经建模需要更深地吸收科学对象的结构，包括位置、频域、算子、分子空间和物理约束。第二，语言模型智能体需要从文本生成走向科研工作流参与者，通过推理计算、代码执行、实验选择和社区反馈来提升可靠性。 从这篇博士论文可以看到，AI for Science 正在从“模型驱动的预测工具”转向“工作流驱动的科学系统”。前者强调单点性能，后者强调模型、工具、反馈和预算之间的协同。未来真正可用的科学智能系统，很可能由多个层次组成：底层模型负责表达科学结构，中层算法负责优化训练和推理计算，上层智能体负责规划、执行、验证和审计。

关键启示

第一，科学任务中的结构先验仍然重要。即使在大模型时代，位置编码、频域表示、算子参数化和生成流引导等设计，依然决定模型能否跨长度、跨尺度、跨条件泛化。 第二，科学智能系统必须考虑预算。无论是长上下文推理、傅里叶神经算子的超参迁移，还是扩展律拟合中的主动实验选择，本质上都在回答同一个问题：如何用有限计算获得最大科学收益。 第三，反馈闭环是语言模型进入科研的关键。PDE 求解、代码复现和实验规划都表明，可靠性不能只靠一次性生成，而要靠执行、观测、纠错和再规划。 第四，AI for Science 的未来不是单一模型范式的胜利，而是神经建模、语言模型智能体、数值计算和科研软件工程之间的系统整合。这也是这篇论文最值得关注的地方：它把底层模型方法和上层科研流程放在同一幅图景中，呈现出一条从表示学习到科学智能体的连续路径。