The Eilers-Whittaker method for data smoothing effectiveness depends on the choice of the regularisation parameter, and automatic selection is a necessity for large datasets. Common methods, such as leave-one-out cross-validation, can perform poorly when serially correlated noise is present. We propose a novel procedure for selecting the control parameter based on the spectral entropy of the residuals. We define an S-curve from the Euclidean distance between points in a plot of the spectral entropy of the residuals versus that of the smoothed signal. The regularisation parameter corresponding to the absolute maximum of this S-curve is chosen as the optimal parameter. Using simulated data, we benchmarked our method against cross-validation and the V-curve. Validation was also performed on diverse experimental data. This robust and straightforward procedure can be a valuable addition to the available selection methods for the Eilers smoother.


翻译:Eilers-Whittaker数据平滑方法的有效性依赖于正则化参数的选择,对于大型数据集,自动选择是必要的。常见方法,如留一交叉验证,在存在序列相关噪声时可能表现不佳。我们提出了一种基于残差谱熵来选择控制参数的新方法。我们通过绘制残差谱熵与平滑信号谱熵的关系图,并计算图中点之间的欧几里得距离,定义了一条S曲线。选择该S曲线绝对最大值所对应的正则化参数作为最优参数。使用模拟数据,我们将本方法与交叉验证和V曲线法进行了基准比较。同时也在多种实验数据上进行了验证。这一稳健且直接的方法可以成为Eilers平滑器现有选择方法的一个有价值的补充。

0
下载
关闭预览

相关内容

【ICLR2025】DynaPrompt:动态测试时提示调优
专知会员服务
10+阅读 · 2025年2月2日
《利用近端策略优化估计最佳飞行轨迹》最新140页
专知会员服务
21+阅读 · 2024年11月14日
【AAAI2022】自适应的随机平滑防御的鲁棒性认证方法
专知会员服务
26+阅读 · 2021年12月27日
使用 Keras Tuner 调节超参数
TensorFlow
15+阅读 · 2020年2月6日
今日面试题分享:为什么xgboost要用泰勒展开,优势在哪里?
推荐算法:Match与Rank模型的交织配合
从0到1
15+阅读 · 2017年12月18日
xgboost特征选择
数据挖掘入门与实战
39+阅读 · 2017年10月5日
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
无人机
10+阅读 · 2017年7月25日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员