如今,神经网络已无处不在,并日益深刻地影响着医疗、自动驾驶、金融与法律等高风险领域(high-stakes domains)。这引发了关于如何提升此类模型可靠性的探讨,具体涵盖分布内(ID)性能、域偏移(domain shifts)下的泛化能力以及置信度校准(calibration)等方面。

为此,本论文从两个互补的视角对神经网络的可靠性展开研究。首先,我们试图将物理结构嵌入网络之中,从而对其假设空间施加正则化约束,引导其收敛于符合已知物理定律的解。该机制能够有效稳定分布内(ID)的预测结果——尤其是在训练数据稀缺或存在缺失时——以及分布外(OOD)的预测结果,从而促使模型展现出更高的可靠性。其次,在缺乏易于求解的物理模型的情况下,我们旨在通过(近似)贝叶斯推断来保障建模的可靠性。该方法不仅能够降低预测方差从而实现更具鲁棒性的建模,更关键的是,它具备提供经校准的不确定性估计(calibrated uncertainty estimates)的潜力,这通常被视为构建可靠机器学习系统的核心要件。 贯穿整篇论文,我们通过三篇学术论文对上述两个视角进行了深入探讨,研究范围从基于物理先验的模型逐步拓展至具有不确定性感知能力的大规模应用。首先,我们引入了神经热场(Neural Heat Fields, NHFs),这是一种内置了物理观测模型的隐式神经架构(implicit neural architecture)。我们在任意尺度图像超分辨率这一本质上的多尺度任务中验证了该表征的有效性。在该任务中,我们的方法在分布内(ID)与分布外(OOD)性能上均达到了现有最优水平(state of the art),同时计算效率更高,并提供了理论上的抗混叠(anti-aliasing)保证。

接下来,我们将 NHFs 扩展为视频傅里叶场(Video Fourier Fields, VFFs),提出了一种基于物理原理的、用于高分辨率视频时空连续建模的统一表征。基于 VFFs 构建的端到端模型在连续视频超分辨率任务的分布内与分布外性能上均取得了显著突破,刷新了现有最优基准,并同样提供了理论层面的多尺度保证。最后,我们探讨了一项大规模遥感任务,研究表明,采用具备理论支撑的(principled)近似贝叶斯推断方法不仅能提升预测性能,还能输出校准良好的预测不确定性估计。

综上所述,本论文通过两个互补的视角——基于物理的归纳结构(inductive structure)与贝叶斯不确定性——深入研究了深度机器学习领域的可靠性问题。我们期望能为这一与人类生活日益息息相关的重要领域的发展做出贡献,并为构建可信人工智能(trustworthy AI)这一宏伟蓝图添砖加瓦。

成为VIP会员查看完整内容
0

相关内容

【伯克利博士论文】神经网络中的结构与表征
专知会员服务
49+阅读 · 2024年5月12日
《图神经网络不确定性》最新综述
专知会员服务
28+阅读 · 2024年3月13日
【牛津大学博士论文】鲁棒神经网络:评估与构建
专知会员服务
35+阅读 · 2022年10月23日
专知会员服务
92+阅读 · 2021年7月9日
【新书册】贝叶斯神经网络,41页pdf
专知会员服务
180+阅读 · 2020年6月3日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
10+阅读 · 2022年1月16日
【新书册】贝叶斯神经网络,41页pdf
专知
29+阅读 · 2020年6月3日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
CCCF专栏 | 面向领域定制的神经网络结构设计
中国计算机学会
10+阅读 · 2018年12月17日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
神经网络可解释性最新进展
专知
18+阅读 · 2018年3月10日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 3月16日
Arxiv
10+阅读 · 2024年3月11日
VIP会员
最新内容
AgentOps综述:智能体系统运维框架
专知会员服务
0+阅读 · 今天15:30
《美陆军最新条令:兵力防护》
专知会员服务
2+阅读 · 今天14:43
《人工智能的挑战:算法战的想象与现实》
专知会员服务
2+阅读 · 今天14:26
首场人工智能战争:Maven如何重塑武装冲突
专知会员服务
3+阅读 · 今天14:12
《通往人工通用智能之路上的均衡策略》
专知会员服务
7+阅读 · 6月3日
《Palantir的科技生态系统》
专知会员服务
17+阅读 · 6月2日
相关资讯
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
10+阅读 · 2022年1月16日
【新书册】贝叶斯神经网络,41页pdf
专知
29+阅读 · 2020年6月3日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
CCCF专栏 | 面向领域定制的神经网络结构设计
中国计算机学会
10+阅读 · 2018年12月17日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
神经网络可解释性最新进展
专知
18+阅读 · 2018年3月10日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员