We study the problem of minimizing an ordered norm of a load vector (indexed by a set of $d$ resources), where a finite number $n$ of customers $c$ contribute to the load of each resource by choosing a solution $x_c$ in a convex set $X_c \subseteq \mathbb{R}^d_{\geq 0}$; so we minimize $||\sum_{c}x_c||$ for some fixed ordered norm $||\cdot||$. We devise a randomized algorithm that computes a $(1+\varepsilon)$-approximate solution to this problem and makes, with high probability, $\mathcal{O}\left((n+d) (\varepsilon^{-2}+\log\log d)\log (n+d)\right)$ calls to oracles that minimize linear functions (with non-negative coefficients) over $X_c$. While this has been known for the $\ell_{\infty}$ norm via the multiplicative weights update method, existing proof techniques do not extend to arbitrary ordered norms. Our algorithm uses a resource price mechanism that is motivated by the follow-the-regularized-leader paradigm, and is expressed by smooth approximations of ordered norms. We need and show that these have non-trivial stability properties, which may be of independent interest. For each customer, we define dynamic cost budgets, which evolve throughout the algorithm, to determine the allowed step sizes. This leads to non-uniform updates and may even reject certain oracle solutions. Using non-uniform sampling together with a martingale argument, we can guarantee sufficient expected progress in each iteration, and thus bound the total number of oracle calls with high probability.


翻译:我们研究在有限个客户(记为 $n$)中,通过每个客户 $c$ 在凸集 $X_c \subseteq \mathbb{R}^d_{\geq 0}$ 中选择解 $x_c$,最小化由 $d$ 个资源索引的负载向量的有序范数问题,即对于给定的有序范数 $||\cdot||$,最小化 $||\sum_{c}x_c||$。我们设计了一种随机化算法,对该问题计算 $(1+\varepsilon)$-近似解,并以高概率调用 $\mathcal{O}\left((n+d) (\varepsilon^{-2}+\log\log d)\log (n+d)\right)$ 次最小化 $X_c$ 上线性函数(系数非负)的预言机。尽管对于 $\ell_{\infty}$ 范数,该结果可通过乘法权重更新方法实现,但现有证明技术无法推广至任意有序范数。我们的算法采用一种受“跟随正则化领导者”范式启发的资源定价机制,并通过有序范数的光滑近似表达。我们需要证明这些近似具有非平凡的稳定性,该性质可能具有独立的研究价值。对于每个客户,我们定义动态成本预算,该预算在算法过程中演化,以确定允许的步长。这会导致非均匀更新,甚至可能拒绝某些预言机解。利用非均匀采样与鞅论证相结合的方法,我们可保证每次迭代中足够的期望进展,从而以高概率限制总预言机调用次数。

0
下载
关闭预览

相关内容

南大《优化方法 (Optimization Methods》课程,推荐!
专知会员服务
80+阅读 · 2022年4月3日
专知会员服务
46+阅读 · 2020年7月29日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
R语言之数据分析高级方法「时间序列」
R语言中文社区
17+阅读 · 2018年4月24日
用于数学的 10 个优秀编程语言
算法与数据结构
13+阅读 · 2018年1月5日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
机器学习之确定最佳聚类数目的10种方法
炼数成金订阅号
13+阅读 · 2017年10月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
3+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
南大《优化方法 (Optimization Methods》课程,推荐!
专知会员服务
80+阅读 · 2022年4月3日
专知会员服务
46+阅读 · 2020年7月29日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员