We introduce a training-efficient framework for time-series learning that combines random features with controlled differential equations (CDEs). In this approach, large randomly parameterized CDEs act as continuous-time reservoirs, mapping input paths to rich representations. Only a linear readout layer is trained, resulting in fast, scalable models with strong inductive bias. Building on this foundation, we propose two variants: (i) Random Fourier CDEs (RF-CDEs): these lift the input signal using random Fourier features prior to the dynamics, providing a kernel-free approximation of RBF-enhanced sequence models; (ii) Random Rough DEs (R-RDEs): these operate directly on rough-path inputs via a log-ODE discretization, using log-signatures to capture higher-order temporal interactions while remaining stable and efficient. We prove that in the infinite-width limit, these model induces the RBF-lifted signature kernel and the rough signature kernel, respectively, offering a unified perspective on random-feature reservoirs, continuous-time deep architectures, and path-signature theory. We evaluate both models across a range of time-series benchmarks, demonstrating competitive or state-of-the-art performance. These methods provide a practical alternative to explicit signature computations, retaining their inductive bias while benefiting from the efficiency of random features.


翻译:我们提出了一种结合随机特征与控制微分方程(CDEs)的高效时间序列学习框架。该方法采用大规模随机参数化的CDE作为连续时间储备池,将输入路径映射为丰富的表示。仅需训练线性读出层,即可获得具有强归纳偏置的快速可扩展模型。基于此框架,我们提出两种变体:(i) 随机傅里叶CDE(RF-CDEs):在动力学系统前通过随机傅里叶特征对输入信号进行升维,提供RBF增强序列模型的无核近似;(ii) 随机粗糙微分方程(R-RDEs):通过log-ODE离散化直接处理粗糙路径输入,利用对数签名捕捉高阶时间交互作用,同时保持稳定性和计算效率。我们证明在无限宽度极限下,这两种模型分别诱导出RBF升维签名核与粗糙签名核,为随机特征储备池、连续时间深度架构和路径签名理论提供了统一视角。我们在多个时间序列基准测试中评估这两种模型,结果表明其性能达到竞争水平或最优水平。这些方法为显式签名计算提供了实用替代方案,在保留归纳偏置的同时受益于随机特征的效率优势。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
【CIKM2025教程】用于连续时间分析的神经微分方程
专知会员服务
16+阅读 · 2025年11月16日
【哈佛经典书】概率论与随机过程及其应用,382页pdf
专知会员服务
64+阅读 · 2020年11月14日
【干货书】贝叶斯推断随机过程,449页pdf
专知会员服务
155+阅读 · 2020年8月27日
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
【干货书】贝叶斯推断随机过程,449页pdf
专知
30+阅读 · 2020年8月27日
酒鬼漫步的数学——随机过程 | 张天蓉专栏
知识分子
10+阅读 · 2017年8月13日
精品公开课 | 随机梯度下降算法综述
七月在线实验室
13+阅读 · 2017年7月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月3日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员