Neural CDEs provide a natural way to process the temporal evolution of irregular time series. The number of function evaluations (NFE) is these systems' natural analog of depth (the number of layers in traditional neural networks). It is usually regulated via solver error tolerance: lower tolerance means higher numerical precision, requiring more integration steps. However, lowering tolerances does not adequately increase the models' expressiveness. We propose a simple yet effective alternative: scaling the integration time horizon to increase NFEs and "deepen`` the model. Increasing the integration interval causes uncontrollable growth in conventional vector fields, so we also propose a way to stabilize the dynamics via Negative Feedback (NF). It ensures provable stability without constraining flexibility. It also implies robustness: we provide theoretical bounds for Neural ODE risk using Gaussian process theory. Experiments on four open datasets demonstrate that our method, DeNOTS, outperforms existing approaches~ -- ~including recent Neural RDEs and state space models,~ -- ~achieving up to $20\%$ improvement in metrics. DeNOTS combines expressiveness, stability, and robustness, enabling reliable modelling in continuous-time domains.


翻译:神经控制微分方程为处理不规则时间序列的时序演化提供了一种自然方式。函数评估次数是这类系统中深度的自然类比(相当于传统神经网络中的层数)。通常通过求解器误差容限来调节:更低的容限意味着更高的数值精度,需要更多积分步数。然而,降低容限并不能有效提升模型的表达能力。我们提出一种简单而有效的替代方案:通过扩展积分时间跨度来增加函数评估次数,从而"加深"模型。增加积分区间会导致传统向量场出现不可控增长,因此我们还提出一种通过负反馈机制来稳定动力学行为的方法。该方法在保持灵活性的同时确保了可证明的稳定性。其还意味着鲁棒性:我们利用高斯过程理论给出了神经常微分方程风险的理论界。在四个公开数据集上的实验表明,我们的方法DeNOTS优于现有方法——包括最近的神经粗糙微分方程和状态空间模型——在评估指标上最高可获得$20\%$的提升。DeNOTS融合了表达能力、稳定性和鲁棒性,为连续时间领域的可靠建模提供了可能。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
【CIKM2025教程】用于连续时间分析的神经微分方程
专知会员服务
16+阅读 · 2025年11月16日
图神经常微分方程综述
专知会员服务
25+阅读 · 2024年8月4日
【NeurIPS2023】提示增强的时态点过程用于流事件序列
专知会员服务
16+阅读 · 2023年10月15日
【Nature machine intelligence】闭型连续时间神经网络
专知会员服务
30+阅读 · 2022年11月17日
【AAAI 2022】神经分段常时滞微分方程
专知会员服务
35+阅读 · 2022年1月14日
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
74+阅读 · 2020年8月2日
神经网络常微分方程 (Neural ODEs) 解析
AI科技评论
42+阅读 · 2019年8月9日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
基于 Keras 用深度学习预测时间序列
R语言中文社区
23+阅读 · 2018年7月27日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员