Learned priors based on deep generative models offer data-driven regularization for seismic inversion, but training them requires a dataset of representative subsurface models -- a resource that is inherently scarce in geoscience applications. Since the training objective of most generative models can be cast as maximum likelihood on a finite dataset, any such model risks converging to the empirical distribution -- effectively memorizing the training examples rather than learning the underlying geological distribution. We show that the posterior under such a memorized prior reduces to a reweighted empirical distribution -- i.e., a likelihood-weighted lookup among the stored training examples. For diffusion models specifically, memorization yields a Gaussian mixture prior in closed form, and linearizing the forward operator around each training example gives a Gaussian mixture posterior whose components have widths and shifts governed by the local Jacobian. We validate these predictions on a stylized inverse problem and demonstrate the consequences of memorization through diffusion posterior sampling for full waveform inversion.


翻译:基于深度生成模型学习的先验为地震反演提供了数据驱动的正则化,但训练这类模型需要一组具有代表性的地下模型数据集——这一资源在地学应用中本就稀缺。由于大多数生成模型的训练目标可视为有限数据集上的最大似然估计,任何此类模型都有可能收敛到经验分布——即实质上记忆训练样本,而非学习底层的地质分布。我们表明,在这种记忆型先验下的后验分布会退化为加权的经验分布——即对存储的训练样本进行似然加权的查找。具体而言,对于扩散模型,记忆效应会生成一个封闭形式的高斯混合先验,而将每个训练样本周围的的正演算子线性化会得到高斯混合后验,其分量的宽度和偏移由局部雅可比矩阵控制。我们通过一个风格化的反问题验证了这些预测,并利用扩散后验采样在全波形反演中展示了记忆化带来的后果。

0
下载
关闭预览

相关内容

生成先验的信号恢复
专知会员服务
22+阅读 · 2023年1月5日
【CMU博士论文】通过记忆的元强化学习,118页pdf
专知会员服务
49+阅读 · 2022年6月23日
最新《深度半监督学习》综述论文,43页pdf
专知会员服务
156+阅读 · 2020年6月12日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
迁移学习在深度学习中的应用
专知
24+阅读 · 2017年12月24日
深度图像先验:无需学习即可生成新图像
论智
45+阅读 · 2017年12月4日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
3+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
3+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
3+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
生成先验的信号恢复
专知会员服务
22+阅读 · 2023年1月5日
【CMU博士论文】通过记忆的元强化学习,118页pdf
专知会员服务
49+阅读 · 2022年6月23日
最新《深度半监督学习》综述论文,43页pdf
专知会员服务
156+阅读 · 2020年6月12日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员