如今,神经网络已无处不在,并日益深刻地影响着医疗、自动驾驶、金融与法律等高风险领域(high-stakes domains)。这引发了关于如何提升此类模型可靠性的探讨,具体涵盖分布内(ID)性能、域偏移(domain shifts)下的泛化能力以及置信度校准(calibration)等方面。
为此,本论文从两个互补的视角对神经网络的可靠性展开研究。首先,我们试图将物理结构嵌入网络之中,从而对其假设空间施加正则化约束,引导其收敛于符合已知物理定律的解。该机制能够有效稳定分布内(ID)的预测结果——尤其是在训练数据稀缺或存在缺失时——以及分布外(OOD)的预测结果,从而促使模型展现出更高的可靠性。其次,在缺乏易于求解的物理模型的情况下,我们旨在通过(近似)贝叶斯推断来保障建模的可靠性。该方法不仅能够降低预测方差从而实现更具鲁棒性的建模,更关键的是,它具备提供经校准的不确定性估计(calibrated uncertainty estimates)的潜力,这通常被视为构建可靠机器学习系统的核心要件。 贯穿整篇论文,我们通过三篇学术论文对上述两个视角进行了深入探讨,研究范围从基于物理先验的模型逐步拓展至具有不确定性感知能力的大规模应用。首先,我们引入了神经热场(Neural Heat Fields, NHFs),这是一种内置了物理观测模型的隐式神经架构(implicit neural architecture)。我们在任意尺度图像超分辨率这一本质上的多尺度任务中验证了该表征的有效性。在该任务中,我们的方法在分布内(ID)与分布外(OOD)性能上均达到了现有最优水平(state of the art),同时计算效率更高,并提供了理论上的抗混叠(anti-aliasing)保证。
接下来,我们将 NHFs 扩展为视频傅里叶场(Video Fourier Fields, VFFs),提出了一种基于物理原理的、用于高分辨率视频时空连续建模的统一表征。基于 VFFs 构建的端到端模型在连续视频超分辨率任务的分布内与分布外性能上均取得了显著突破,刷新了现有最优基准,并同样提供了理论层面的多尺度保证。最后,我们探讨了一项大规模遥感任务,研究表明,采用具备理论支撑的(principled)近似贝叶斯推断方法不仅能提升预测性能,还能输出校准良好的预测不确定性估计。
综上所述,本论文通过两个互补的视角——基于物理的归纳结构(inductive structure)与贝叶斯不确定性——深入研究了深度机器学习领域的可靠性问题。我们期望能为这一与人类生活日益息息相关的重要领域的发展做出贡献,并为构建可信人工智能(trustworthy AI)这一宏伟蓝图添砖加瓦。