Diffusion-based models have demonstrated impressive accuracy and generalization in solving partial differential equations (PDEs). However, they still face significant limitations, such as high sampling costs and insufficient physical consistency, stemming from their many-step iterative sampling mechanism and lack of explicit physics constraints. To address these issues, we propose Phys-Instruct, a novel physics-guided distillation framework which not only (1) compresses a pre-trained diffusion PDE solver into a few-step generator via matching generator and prior diffusion distributions to enable rapid sampling, but also (2) enhances the physics consistency by explicitly injecting PDE knowledge through a PDE distillation guidance. Physic-Instruct is built upon a solid theoretical foundation, leading to a practical physics-constrained training objective that admits tractable gradients. Across five PDE benchmarks, Phys-Instruct achieves orders-of-magnitude faster inference while reducing PDE error by more than 8 times compared to state-of-the-art diffusion baselines. Moreover, the resulting unconditional student model functions as a compact prior, enabling efficient and physically consistent inference for various downstream conditional tasks. Our results indicate that Phys-Instruct is a novel, effective, and efficient framework for ultra-fast PDE solving powered by deep generative models.


翻译:基于扩散的模型在求解偏微分方程方面已展现出令人印象深刻的准确性和泛化能力。然而,由于其多步迭代采样机制以及缺乏显式的物理约束,这些模型仍面临显著局限性,例如高昂的采样成本和物理一致性不足。为解决这些问题,我们提出了Phys-Instruct,一种新颖的物理引导蒸馏框架。该框架不仅(1)通过匹配生成器与先验扩散分布,将预训练的扩散PDE求解器压缩为一个少步生成器以实现快速采样,而且(2)通过PDE蒸馏引导显式注入PDE知识,从而增强物理一致性。Phys-Instruct建立在坚实的理论基础之上,推导出一个具有可处理梯度的实用物理约束训练目标。在五个PDE基准测试中,与最先进的扩散基线相比,Phys-Instruct实现了数量级更快的推理速度,同时将PDE误差降低了8倍以上。此外,所得的无条件学生模型可作为一个紧凑的先验,为各种下游条件任务实现高效且物理一致的推理。我们的结果表明,Phys-Instruct是一个由深度生成模型驱动的、新颖、有效且高效的超快速PDE求解框架。

0
下载
关闭预览

相关内容

基于强化学习的扩散模型微调:教程与综述
专知会员服务
44+阅读 · 2024年7月20日
基于神经网络的偏微分方程求解方法研究综述
专知会员服务
72+阅读 · 2022年12月7日
详解扩散模型:从DDPM到稳定扩散,附Slides与视频
专知会员服务
87+阅读 · 2022年10月9日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
<好书推荐> -《Pro Deep Learning with TensorFlow》分享
深度学习与NLP
12+阅读 · 2018年9月13日
超全总结:神经网络加速之量化模型 | 附带代码
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员