Hybrid neural ordinary differential equations (neural ODEs) integrate mechanistic models with neural ODEs, offering strong inductive bias and flexibility, and are particularly advantageous in data-scarce healthcare settings. However, excessive latent states and interactions from mechanistic models can lead to training inefficiency and over-fitting, limiting practical effectiveness of hybrid neural ODEs. In response, we propose a new hybrid pipeline for automatic state selection and structure optimization in mechanistic neural ODEs, combining domain-informed graph modifications with data-driven regularization to sparsify the model for improving predictive performance and stability while retaining mechanistic plausibility. Experiments on synthetic and real-world data show improved predictive performance and robustness with desired sparsity, establishing an effective solution for hybrid model reduction in healthcare applications.


翻译:混合神经常微分方程(神经ODE)将机理模型与神经ODE相结合,提供了强大的归纳偏置和灵活性,在数据稀缺的医疗健康场景中尤其具有优势。然而,机理模型带来的过多潜在状态及相互作用可能导致训练效率低下和过拟合,限制了混合神经ODE的实际有效性。为此,我们提出一种新的混合流程,用于机理神经ODE的自动状态选择与结构优化,该方法结合领域知识引导的图结构修改与数据驱动的正则化,通过稀疏化模型以提升预测性能与稳定性,同时保持机理合理性。在合成数据与真实数据上的实验表明,该方法在实现期望稀疏度的同时,显著提升了预测性能与鲁棒性,为医疗健康应用中的混合模型简化提供了有效解决方案。

0
下载
关闭预览

相关内容

【CIKM2025教程】用于连续时间分析的神经微分方程
专知会员服务
16+阅读 · 2025年11月16日
图神经常微分方程综述
专知会员服务
25+阅读 · 2024年8月4日
【牛津大学博士论文】深度学习算法的渐近分析,186页pdf
基于神经网络的偏微分方程求解方法研究综述
专知会员服务
72+阅读 · 2022年12月7日
【Nature machine intelligence】闭型连续时间神经网络
专知会员服务
30+阅读 · 2022年11月17日
【AAAI 2022】神经分段常时滞微分方程
专知会员服务
35+阅读 · 2022年1月14日
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
74+阅读 · 2020年8月2日
神经网络常微分方程 (Neural ODEs) 解析
AI科技评论
42+阅读 · 2019年8月9日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【CIKM2025教程】用于连续时间分析的神经微分方程
专知会员服务
16+阅读 · 2025年11月16日
图神经常微分方程综述
专知会员服务
25+阅读 · 2024年8月4日
【牛津大学博士论文】深度学习算法的渐近分析,186页pdf
基于神经网络的偏微分方程求解方法研究综述
专知会员服务
72+阅读 · 2022年12月7日
【Nature machine intelligence】闭型连续时间神经网络
专知会员服务
30+阅读 · 2022年11月17日
【AAAI 2022】神经分段常时滞微分方程
专知会员服务
35+阅读 · 2022年1月14日
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
74+阅读 · 2020年8月2日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员