The classical non-greedy algorithm (NGA) and the recently proposed proximal alternating minimization method with extrapolation (PAMe) for $L_1$-norm PCA are revisited and their finite-step convergence are studied. It is first shown that NGA can be interpreted as a conditional subgradient or an alternating maximization method. By recognizing it as a conditional subgradient, we prove that the iterative points generated by the algorithm will be constant in finitely many steps under a certain full-rank assumption; such an assumption can be removed when the projection dimension is one. By treating the algorithm as an alternating maximization, we then prove that the objective value will be fixed after at most $\left\lceil\frac{F^{\max}}{\tau_0} \right\rceil$ steps, where the stopping point satisfies certain optimality conditions. Then, a slight modification of NGA with improved convergence properties is analyzed. It is shown that the iterative points generated by the modified algorithm will not change after at most $\left\lceil\frac{2F^{\max}}{\tau} \right\rceil$ steps; furthermore, the stopping point satisfies certain optimality conditions if the proximal parameter $\tau$ is small enough. For PAMe, it is proved that the sign variable will remain constant after finitely many steps and the algorithm can output a point satisfying certain optimality condition, if the parameters are small enough and a full rank assumption is satisfied. Moreover, if there is no proximal term on the projection matrix related subproblem, then the iterative points generated by this modified algorithm will not change after at most $\left\lceil \frac{4F^{\max}}{\tau(1-\gamma)} \right\rceil$ steps and the stopping point also satisfies certain optimality conditions, provided similar assumptions as those for PAMe. The full rank assumption can be removed when the projection dimension is one.


翻译:针对$L_1$范数主成分分析(PCA)问题,本文重新审视了经典的非贪婪算法(NGA)及近期提出的带外推近端交替极小化方法(PAMe),并研究了其有限步收敛行为。首先证明NGA可被解释为条件次梯度法或交替极大化方法。基于条件次梯度视角,我们证明在满足特定满秩假设时,算法生成的迭代点将在有限步内保持恒定;当投影维数为一维时,该假设可被移除。通过将其视为交替极大化方法,进一步证明目标函数值在至多$\left\lceil\frac{F^{\max}}{\tau_0} \right\rceil$步后将固定不变,且终止点满足特定最优性条件。随后分析了一种经轻微改进的NGA变体,其收敛性质更优。实验证明,改进算法的迭代点在至多$\left\lceil\frac{2F^{\max}}{\tau} \right\rceil$步后不再变化;当近端参数$\tau$足够小时,终止点满足特定最优性条件。对于PAMe,我们证明在参数足够小且满足满秩假设时,符号变量在有限步后保持恒定,算法可输出满足特定最优性条件的解点。此外,若投影矩阵相关子问题中不含近端项,则在类似PAMe的假设条件下,改进算法的迭代点在至多$\left\lceil \frac{4F^{\max}}{\tau(1-\gamma)} \right\rceil$步后停止变化,且终止点同样满足特定最优性条件。当投影维数为一维时,该满秩假设可被移除。

0
下载
关闭预览

相关内容

在统计中,主成分分析(PCA)是一种通过最大化每个维度的方差来将较高维度空间中的数据投影到较低维度空间中的方法。给定二维,三维或更高维空间中的点集合,可以将“最佳拟合”线定义为最小化从点到线的平均平方距离的线。可以从垂直于第一条直线的方向类似地选择下一条最佳拟合线。重复此过程会产生一个正交的基础,其中数据的不同单个维度是不相关的。 这些基向量称为主成分。
【干货书】实值与凸分析,172页pdf,Real and Convex Analysis
专知会员服务
43+阅读 · 2023年1月2日
南大《优化方法 (Optimization Methods》课程,推荐!
专知会员服务
80+阅读 · 2022年4月3日
专知会员服务
16+阅读 · 2021年5月21日
一文汇总超参自动优化方法
极市平台
0+阅读 · 2022年11月3日
CSIG-机器学习中的加速一阶优化算法系列讲座第五讲圆满结束
CSIG机器视觉专委会
0+阅读 · 2022年7月19日
一些关于随机矩阵的算法
PaperWeekly
1+阅读 · 2022年7月13日
论文浅尝 | Continual Learning for Named Entity Recognition
开放知识图谱
1+阅读 · 2022年6月25日
颠覆认知!数据增强、正则化可导致不易察觉的灾难?
夕小瑶的卖萌屋
0+阅读 · 2022年6月9日
从重参数的角度看离散概率分布的构建
PaperWeekly
0+阅读 · 2022年5月28日
一文理解Ranking Loss/Margin Loss/Triplet Loss
极市平台
16+阅读 · 2020年8月10日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
学习 | word2vec的前世今生
菜鸟的机器学习
14+阅读 · 2018年3月21日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年5月12日
Arxiv
0+阅读 · 2023年5月12日
VIP会员
最新内容
《基于深度强化学习的反无人机技术研究》178页
专知会员服务
1+阅读 · 今天16:06
“史诗怒火”行动与“AI中心战”模式的浮现
专知会员服务
3+阅读 · 今天15:31
【CVPR2026教程】扩散模型的解析理解
专知会员服务
0+阅读 · 今天14:49
马赛克战:俄乌战场透析
专知会员服务
13+阅读 · 今天4:12
《利用人工智能增强军事决策》
专知会员服务
4+阅读 · 今天4:09
《自动机器学习在军事数据耕耘法中的应用》
专知会员服务
6+阅读 · 今天4:02
为何指挥所生存能力要求范式转变
专知会员服务
5+阅读 · 今天3:54
打造“新蛛网”模式与高科技动员
专知会员服务
4+阅读 · 今天3:33
“蛛网”行动一周年:远程无人机战争
专知会员服务
3+阅读 · 今天3:23
【剑桥博士论文】智能体-环境协同优化
专知会员服务
7+阅读 · 6月9日
相关VIP内容
【干货书】实值与凸分析,172页pdf,Real and Convex Analysis
专知会员服务
43+阅读 · 2023年1月2日
南大《优化方法 (Optimization Methods》课程,推荐!
专知会员服务
80+阅读 · 2022年4月3日
专知会员服务
16+阅读 · 2021年5月21日
相关资讯
一文汇总超参自动优化方法
极市平台
0+阅读 · 2022年11月3日
CSIG-机器学习中的加速一阶优化算法系列讲座第五讲圆满结束
CSIG机器视觉专委会
0+阅读 · 2022年7月19日
一些关于随机矩阵的算法
PaperWeekly
1+阅读 · 2022年7月13日
论文浅尝 | Continual Learning for Named Entity Recognition
开放知识图谱
1+阅读 · 2022年6月25日
颠覆认知!数据增强、正则化可导致不易察觉的灾难?
夕小瑶的卖萌屋
0+阅读 · 2022年6月9日
从重参数的角度看离散概率分布的构建
PaperWeekly
0+阅读 · 2022年5月28日
一文理解Ranking Loss/Margin Loss/Triplet Loss
极市平台
16+阅读 · 2020年8月10日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
学习 | word2vec的前世今生
菜鸟的机器学习
14+阅读 · 2018年3月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员