本论文针对当参数空间为无限维函数空间时的变分推断(Variational Inference, VI)与广义变分推断(Generalised Variational Inference, GVI),建立了一套严谨的数学理论。在对 VI 与 GVI 的理论理解得到深化的基础上,我们提出了若干新的方法,通过引入无限维变分参数或采用无限维梯度下降方法来求解 VI 与 GVI 的优化问题。

尽管 GVI,尤其是 VI,先前已经被用于函数空间推断,但人们一直忽略了参数空间的无限维特性。这一局限阻碍了新推断方法的发展,而这些方法的提出有赖于对支撑 VI 与 GVI 的数学结构的深入理解。 本论文弥补了这一空白,通过引入无限维分析与概率论中的数学概念,推动了相关理论的发展。具体而言,我们利用巴拿赫空间(Banach space)中的高斯随机元来形式化函数空间推断下的 VI 与 GVI,从而能够使用新的分析工具——例如 Wasserstein 梯度流高斯测度空间中的参数化方法——来求解 VI 与 GVI 的优化问题。

最终,我们构建了函数空间中 GVI 的严格理论,并提出了多种具有竞争力的新型不确定性量化算法,例如 高斯 Wasserstein 推断深度排斥朗之万(Langevin)集成方法以及投影朗之万采样。所有方法均从同一个 GVI 目标严格推导而来,我们的理论还统一了函数空间与参数空间中若干不确定性量化方法。

成为VIP会员查看完整内容
20

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【ICML2025】生成模型中潜空间的Hessian几何结构
专知会员服务
17+阅读 · 2025年6月15日
【牛津大学博士论文】流形假设下的贝叶斯非参数估计
专知会员服务
19+阅读 · 2025年5月1日
【CMU博士论文】最优传输的统计推断
专知会员服务
28+阅读 · 2024年5月29日
【经典书】中心极限定理的历史:从古典到现代概率论
专知会员服务
53+阅读 · 2023年10月20日
【TPAMI2023】面向双任务对话语言理解的关系时序图推理
专知会员服务
23+阅读 · 2023年7月5日
专知会员服务
25+阅读 · 2021年7月31日
【2021新书】流形几何结构,322页pdf
专知会员服务
57+阅读 · 2021年2月22日
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【干货书】贝叶斯推断随机过程,449页pdf
专知
31+阅读 · 2020年8月27日
基于深度元学习的因果推断新方法
图与推荐
12+阅读 · 2020年7月21日
论文浅尝 | TuckER:基于张量分解的知识图谱补全
开放知识图谱
35+阅读 · 2019年3月17日
条件概率和贝叶斯公式 - 图解概率 03
遇见数学
10+阅读 · 2018年6月5日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
501+阅读 · 2023年3月31日
Arxiv
16+阅读 · 2022年5月17日
Arxiv
18+阅读 · 2021年3月16日
Recent advances in deep learning theory
Arxiv
52+阅读 · 2020年12月20日
Optimization for deep learning: theory and algorithms
Arxiv
106+阅读 · 2019年12月19日
VIP会员
最新内容
2025年大语言模型进展报告
专知会员服务
1+阅读 · 今天13:30
多智能体协作机制
专知会员服务
0+阅读 · 今天13:26
非对称优势:美海军开发低成本反无人机技术
专知会员服务
4+阅读 · 今天4:39
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
6+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
9+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
7+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
14+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
10+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
5+阅读 · 4月24日
相关VIP内容
【ICML2025】生成模型中潜空间的Hessian几何结构
专知会员服务
17+阅读 · 2025年6月15日
【牛津大学博士论文】流形假设下的贝叶斯非参数估计
专知会员服务
19+阅读 · 2025年5月1日
【CMU博士论文】最优传输的统计推断
专知会员服务
28+阅读 · 2024年5月29日
【经典书】中心极限定理的历史:从古典到现代概率论
专知会员服务
53+阅读 · 2023年10月20日
【TPAMI2023】面向双任务对话语言理解的关系时序图推理
专知会员服务
23+阅读 · 2023年7月5日
专知会员服务
25+阅读 · 2021年7月31日
【2021新书】流形几何结构,322页pdf
专知会员服务
57+阅读 · 2021年2月22日
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
相关资讯
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【干货书】贝叶斯推断随机过程,449页pdf
专知
31+阅读 · 2020年8月27日
基于深度元学习的因果推断新方法
图与推荐
12+阅读 · 2020年7月21日
论文浅尝 | TuckER:基于张量分解的知识图谱补全
开放知识图谱
35+阅读 · 2019年3月17日
条件概率和贝叶斯公式 - 图解概率 03
遇见数学
10+阅读 · 2018年6月5日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员