We introduce "Courant", a Perceiver-based encoder-processor-decoder surrogate model that has latent features exhibiting adaptive specialization and local support in the physical space, enabling functionality akin to an adaptive hp-refinement scheme, an attribute that is highly desirable in traditional numerical solvers and scientific machine learning broadly. The proposed architecture combines a shared random Fourier feature coordinate embedding, state-adapted latent queries, and a light-weight decoder. Courant is trained end-to-end with steady or transient simulation data and only a standard L_2 prediction loss in the physical space, achieving competitive accuracy on benchmarks. We demonstrate that Courant's inductive biases yield latents that are interpretable by design: they develop multiscale geometric specialization in the simulation domain and track coherent structures in the time-dependent case, acting analogously to time-evolving spatial basis functions and allowing for decoding a compact, geometry-anchored, partition-of-unity-like decomposition of the simulated field.


翻译:摘要:本文提出"Courant"模型——一种基于感知器(Perceiver)的编码器-处理器-解码器代理模型,其潜变量特征在物理空间中展现出适应性特化与局部支撑能力,可实现类似自适应hp-细化方案的功能。这一属性在传统数值求解器及广义科学机器学习领域中具有高度需求性。所提架构融合了共享随机傅里叶特征坐标嵌入、状态自适应潜变量查询机制以及轻量化解码器。Courant采用稳态或瞬态仿真数据进行端到端训练,仅需物理空间中标准L_2预测损失即可在基准测试中达到竞争性精度。研究表明,Courant的归纳偏置使得潜变量天然具备可解释性:它们可在仿真域中发展多尺度几何特化,在时变情形下追踪相干结构,其行为类似于时变空间基函数,从而实现对仿真场的紧凑型、几何锚定、类单位分解型场分解解码。

0
下载
关闭预览

相关内容

【NTU博士论文】基础模型的高效适配
专知会员服务
15+阅读 · 3月24日
以人为中心的基础模型:感知、生成与代理建模
专知会员服务
24+阅读 · 2025年2月13日
遥感基础模型发展综述与未来设想
专知会员服务
20+阅读 · 2024年8月13日
可解释的机器学习模型和架构
专知会员服务
92+阅读 · 2023年9月17日
推荐中的序列化建模:Session-based neural recommendation
机器学习研究会
18+阅读 · 2017年11月5日
深度学习中的注意力机制
CSDN大数据
24+阅读 · 2017年11月2日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员