Neural network architectures designed for function parameterization, such as the Bag-of-Functions (BoF) framework, bridge the gap between the expressivity of deep learning and the interpretability of classical signal processing. However, these models are inherently sensitive to parameter initialization, as traditional data-agnostic schemes fail to capture the structural properties of the target signals, often leading to suboptimal convergence. In this work, we propose a prior-informed design strategy that leverages the intrinsic spectral and temporal structure of the data to guide both network initialization and architectural configuration. A principled methodology is introduced that uses the Fast Fourier Transform to extract dominant seasonal priors, informing model depth and initial states, and a residual-based regression approach to parameterize trend components. Crucially, this structural alignment enables a substantial reduction in encoder dimensionality without compromising reconstruction fidelity. A supporting theoretical analysis provides guidance on trend estimation under finite-sample regimes. Extensive experiments on synthetic and real-world benchmarks demonstrate that embedding data-driven priors significantly accelerates convergence, reduces performance variability across trials, and improves computational efficiency. Overall, the proposed framework enables more compact and interpretable architectures while outperforming standard initialization baselines, without altering the core training procedure.


翻译:专为函数参数化设计的神经网络架构,例如函数袋(BoF)框架,弥合了深度学习表达能力与经典信号处理可解释性之间的鸿沟。然而,这些模型本质上对参数初始化敏感,因为传统的数据无关初始化方案无法捕捉目标信号的结构特性,常常导致次优收敛。本文提出一种基于先验信息的设计策略,该策略利用数据固有的谱结构和时间结构来指导网络初始化与架构配置。我们引入了一种原理性方法:使用快速傅里叶变换提取主导的季节性先验,以指导模型深度和初始状态的设定,并采用基于残差的回归方法来参数化趋势分量。至关重要的是,这种结构对齐能够在保持重建保真度的前提下,显著降低编码器的维度。一项支持性的理论分析为有限样本情况下的趋势估计提供了指导。在合成与真实世界基准数据集上进行的大量实验表明,嵌入数据驱动的先验信息能显著加速收敛、降低多次实验间的性能波动,并提高计算效率。总体而言,所提出的框架在不改变核心训练流程的前提下,实现了比标准初始化基线更优的性能,同时支持构建更紧凑、更可解释的架构。

0
下载
关闭预览

相关内容

【ICML2022】张量卷积神经网络的统一权值初始化范式
专知会员服务
18+阅读 · 2022年6月8日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
【初学者指南】神经网络中的数学
专知
33+阅读 · 2019年12月16日
吴恩达团队:神经网络如何正确初始化?
AI100
11+阅读 · 2019年5月15日
神经网络中的权重初始化一览:从基础到Kaiming
大数据文摘
12+阅读 · 2019年4月18日
神经网络bp算法推导
统计学习与视觉计算组
11+阅读 · 2017年11月17日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
新兴反无人机技术与不对称防御对策
专知会员服务
1+阅读 · 今天15:12
《美空军条令出版物 3-60,目标定位(2026版)》
专知会员服务
2+阅读 · 今天15:06
《无人机在冲突地区提供紧急医疗与外科支持》
专知会员服务
2+阅读 · 今天14:48
《定向能武器交战授权治理管道》
专知会员服务
2+阅读 · 今天14:41
《人工智能与海军作战》最新报告
专知会员服务
2+阅读 · 今天14:00
具身AI安全综述:风险、攻击与防御
专知会员服务
2+阅读 · 今天12:02
DeepSeek 版Claude Code,免费小白安装教程来了!
专知会员服务
13+阅读 · 5月5日
相关资讯
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员