High-dimensional recordings of dynamical processes are often characterized by a much smaller set of effective variables, evolving on low-dimensional manifolds. Identifying these latent dynamics requires solving two intertwined problems: discovering appropriate coarse-grained variables and simultaneously fitting the governing equations. Most machine learning approaches tackle these tasks jointly by training autoencoders together with models that enforce dynamical consistency. We propose to decouple the two problems by leveraging the recently introduced Foundation Inference Models (FIMs). FIMs are pretrained models that estimate the infinitesimal generators of dynamical systems (e.g., the drift and diffusion of a stochastic differential equation) in zero-shot mode. By amortizing the inference of the dynamics through a FIM with frozen weights, and training only the encoder-decoder map, we define a simple, simulation-consistent loss that stabilizes representation learning. A proof of concept on a stochastic double-well system with semicircle diffusion, embedded into synthetic video data, illustrates the potential of this approach for fast and reusable coarse-graining pipelines.


翻译:动态过程的高维记录通常由一组数量少得多的有效变量所表征,这些变量在低维流形上演化。识别这些潜在动力学需要解决两个相互交织的问题:发现合适的粗粒度变量,同时拟合控制方程。大多数机器学习方法通过联合训练自编码器与强制动力学一致性的模型来共同处理这些任务。我们提出利用最近引入的基础推理模型(FIMs)来解耦这两个问题。FIMs是预训练模型,能够在零样本模式下估计动态系统的无穷小生成元(例如,随机微分方程的漂移和扩散项)。通过使用权重固定的FIM来摊销动力学推断,并仅训练编码器-解码器映射,我们定义了一个简单、模拟一致的损失函数,从而稳定了表示学习。在一个嵌入合成视频数据、具有半圆扩散的随机双势阱系统上进行的原理验证,说明了该方法在构建快速、可复用的粗粒度流程方面的潜力。

0
下载
关闭预览

相关内容

【MIT博士论文】加速科学发现的因果建模实践算法
专知会员服务
26+阅读 · 2025年12月22日
基于课程学习的深度强化学习研究综述
专知会员服务
58+阅读 · 2022年11月28日
强化学习可解释性基础问题探索和方法综述
专知会员服务
92+阅读 · 2022年1月16日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
13+阅读 · 2018年12月23日
<好书推荐> -《Pro Deep Learning with TensorFlow》分享
深度学习与NLP
12+阅读 · 2018年9月13日
特征工程的特征理解(一)
机器学习研究会
10+阅读 · 2017年10月23日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员