Lasso regression is a widely employed approach within the $\ell_1$ regularization framework used to promote sparsity and recover piecewise smooth signals $f:[a,b) \rightarrow \mathbb{R}$ when the given observations are obtained from noisy, blurred, and/or incomplete data environments. In choosing the regularizing sparsity-promoting operator, it is assumed that the particular type of variability of the underlying signal, for example, piecewise constant or piecewise linear behavior across the entire domain, is both known and fixed. Such an assumption is problematic in more general cases, e.g.~when a signal exhibits piecewise oscillatory behavior with varying wavelengths and magnitudes. To address the limitations of assuming a fixed (and typically low order) variability when choosing a sparsity-promoting operator, this investigation proposes a novel residual transform operator that can be used within the Lasso regression formulation. In a nutshell, the idea is that for a general piecewise smooth signal $f$, it is possible to design two operators $\mathcal L_1$ and $\mathcal L_2$ such that $\mathcal L_1{\boldsymbol f} \approx \mathcal L_2{\boldsymbol f}$, where ${\boldsymbol f} \in \mathbb{R}^n$ is a discretized approximation of $f$, but $\mathcal L_1 \not\approx \mathcal L_2$. The corresponding residual transform operator, $\mathcal L = \mathcal L_1- \mathcal L_2$, yields a result that (1) effectively reduces the variability dependent error that occurs when applying either $\mathcal L_1$ or $\mathcal L_2$ to ${\boldsymbol f}$, a property that holds even when $\mathcal L_1{\boldsymbol f} \approx \mathcal L_2{\boldsymbol f}$ is not a good approximation to the true sparse domain vector of ${\boldsymbol f}$, and (2) does not require $\mathcal L_1$ or $\mathcal L_2$ to have prior information regarding the variability of the underlying signal.


翻译:Lasso回归是$\ell_1$正则化框架中广泛采用的一种方法,用于在观测数据来自含噪、模糊和/或不完整数据环境时促进稀疏性并恢复分段平滑信号$f:[a,b) \rightarrow \mathbb{R}$。在选择正则化稀疏促进算子时,通常假设底层信号特定的变化类型(例如在整个域上的分段常数或分段线性行为)是已知且固定的。这种假设在更一般的情况下存在问题,例如当信号表现出具有变化波长和幅度的分段振荡行为时。为了克服选择稀疏促进算子时需假设固定(且通常是低阶)变化类型的局限性,本研究提出了一种可在Lasso回归框架中使用的新型残差变换算子。简而言之,其核心思想是:对于一个通用的分段平滑信号$f$,可以设计两个算子$\mathcal L_1$和$\mathcal L_2$,使得$\mathcal L_1{\boldsymbol f} \approx \mathcal L_2{\boldsymbol f}$(其中${\boldsymbol f} \in \mathbb{R}^n$是$f$的离散近似),但同时满足$\mathcal L_1 \not\approx \mathcal L_2$。相应的残差变换算子$\mathcal L = \mathcal L_1- \mathcal L_2$具有以下特性:(1)能有效降低对${\boldsymbol f}$单独应用$\mathcal L_1$或$\mathcal L_2$时产生的变化依赖性误差——该性质即使当$\mathcal L_1{\boldsymbol f} \approx \mathcal L_2{\boldsymbol f}$并非${\boldsymbol f}$真实稀疏域向量的良好近似时依然成立;(2)不要求$\mathcal L_1$或$\mathcal L_2$预先掌握底层信号变化特性的先验信息。

0
下载
关闭预览

相关内容

【ACL2020】多模态信息抽取,365页ppt
专知会员服务
151+阅读 · 2020年7月6日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关资讯
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员