Data-driven dynamics prediction often fails under environmental shifts, while traditional fine-tuning remains computationally prohibitive for hardware-constrained or data-scarce applications. We propose DynaDiff, a generative meta-learning framework that transitions the paradigm from gradient-based tuning or modulation to direct weight-space generation. Specifically, we first abstract expert weights as novel weight graphs, utilizing multi-head attention to explicitly capture topological coupling within weights. Subsequently, we design a functional loss to ensure that the generated models achieve consistency with expert models in physical behavior. Finally, we develop a dynamics-informed prompter that extracts cross-domain physical and spectral features from observation sequences to condition the diffusion model. Experiments demonstrate that DynaDiff boosts average prediction accuracy by 10.78% over competitive baselines. Furthermore, by pre-constructing a model zoo of expert predictors, we amortize the fine-tuning overhead into a one-time offline cost, significantly boosting deployment efficiency in new environments.


翻译:数据驱动的动力学预测在环境偏移下常失效,而传统微调方法对硬件受限或数据匮乏的应用场景计算成本过高。我们提出DynaDiff生成式元学习框架,将范式从基于梯度的调优或调制转变为直接权重空间生成。具体而言,我们首先将专家权重抽象为新型权重图,利用多头注意力机制显式捕获权重内部的拓扑耦合关系;其次设计功能损失函数,确保生成模型在物理行为上与专家模型保持一致性;最后构建动力学感知提示器,从观测序列中提取跨域物理与频谱特征以条件化扩散模型。实验表明,DynaDiff在竞争性基线方法基础上将平均预测精度提升10.78%。此外,通过预构建专家预测器模型库,我们将微调开销分摊为一次性离线成本,显著提升新环境下的部署效率。

0
下载
关闭预览

相关内容

扩散模型中的缓存方法综述:迈向高效的多模态生成
专知会员服务
9+阅读 · 2025年10月23日
《不确定性下的生成式模型适应性规划》
专知会员服务
33+阅读 · 2024年8月8日
自动特征工程在推荐系统中的研究
DataFunTalk
10+阅读 · 2019年12月20日
迁移自适应学习最新综述,附21页论文下载
迁移学习在深度学习中的应用
专知
24+阅读 · 2017年12月24日
国家自然科学基金
44+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Arxiv
0+阅读 · 3月26日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
3+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
4+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
7+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
9+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关基金
国家自然科学基金
44+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员