Smoothed analysis is a method for analyzing the performance of algorithms, used especially for those algorithms whose running time in practice is significantly better than what can be proven through worst-case analysis. Spielman and Teng (STOC '01) introduced the smoothed analysis framework of algorithm analysis and applied it to the simplex method. Given an arbitrary linear program with $d$ variables and $n$ inequality constraints, Spielman and Teng proved that the simplex method runs in time $O(σ^{-30} d^{55} n^{86})$, where $σ> 0$ is the standard deviation of Gaussian distributed noise added to the original LP data. Spielman and Teng's result was simplified and strengthened over a series of works, with the current strongest upper bound being $O(σ^{-3/2} d^{13/4} \log(n)^{7/4})$ pivot steps due to Huiberts, Lee and Zhang (STOC '23). We prove that there exists a simplex method whose smoothed complexity is upper bounded by $O(σ^{-1/2} d^{11/4} \log(n)^{7/4})$ pivot steps. Furthermore, we prove a matching high-probability lower bound of $Ω( σ^{-1/2} d^{1/2}\ln(4/σ)^{-1/4})$ on the combinatorial diameter of the feasible polyhedron after smoothing, on instances using $n = \lfloor (4/σ)^d \rfloor$ inequality constraints. This lower bound indicates that our algorithm has optimal noise dependence among all simplex methods, up to polylogarithmic factors.


翻译:平滑分析是一种用于分析算法性能的方法,尤其适用于那些在实践中运行时间显著优于最坏情况分析所证明结果的算法。Spielman 和 Teng(STOC '01)提出了算法分析的平滑分析框架,并将其应用于单纯形方法。给定一个具有 $d$ 个变量和 $n$ 个不等式约束的任意线性规划,Spielman 和 Teng 证明单纯形方法的运行时间为 $O(σ^{-30} d^{55} n^{86})$,其中 $σ> 0$ 是添加到原始 LP 数据中的高斯分布噪声的标准差。Spielman 和 Teng 的结果在一系列工作中得到了简化和加强,目前最强的上界是 Huiberts、Lee 和 Zhang(STOC '23)得到的 $O(σ^{-3/2} d^{13/4} \log(n)^{7/4})$ 次枢轴步骤。我们证明存在一种单纯形方法,其平滑复杂度上界为 $O(σ^{-1/2} d^{11/4} \log(n)^{7/4})$ 次枢轴步骤。此外,我们证明了在平滑处理后的可行多面体的组合直径上,对于使用 $n = \lfloor (4/σ)^d \rfloor$ 个不等式约束的实例,存在一个匹配的高概率下界 $Ω( σ^{-1/2} d^{1/2}\ln(4/σ)^{-1/4})$。该下界表明,在所有单纯形方法中,我们的算法具有最优的噪声依赖性(最多相差多对数因子)。

0
下载
关闭预览

相关内容

【2023新书】光滑流形上的优化引论,368页pdf
专知会员服务
56+阅读 · 2023年8月7日
南大《优化方法 (Optimization Methods》课程,推荐!
专知会员服务
80+阅读 · 2022年4月3日
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
【优博微展2019】李志泽:简单快速的机器学习优化方法
清华大学研究生教育
15+阅读 · 2019年10月8日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
2018年深度学习优化算法最新综述
计算机视觉战队
10+阅读 · 2018年12月11日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月4日
Arxiv
0+阅读 · 5月27日
Arxiv
0+阅读 · 5月5日
VIP会员
最新内容
俄乌无人机战争的六大启示
专知会员服务
2+阅读 · 今天7:07
《无人机空中监控:通信实验洞察》
专知会员服务
1+阅读 · 今天7:05
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
5+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
5+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
13+阅读 · 7月31日
相关资讯
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
【优博微展2019】李志泽:简单快速的机器学习优化方法
清华大学研究生教育
15+阅读 · 2019年10月8日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
2018年深度学习优化算法最新综述
计算机视觉战队
10+阅读 · 2018年12月11日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员