In balanced allocations, the goal is to place $m$ balls into $n$ bins, so as to minimize the gap (difference of max to average load). The One-Choice process places each ball to a bin sampled independently and uniformly at random. The Two-Choice process places balls in the least loaded of two sampled bins. Finally, the $(1+\beta)$-process mixes these processes, meaning each ball is allocated using Two-Choice with probability $\beta\in(0,1)$, and using One-Choice otherwise. Despite Two-Choice being optimal in the sequential setting, it has been observed in practice that it does not perform well in a parallel environment, where load information may be outdated. Following [BCEFN12], we study such a parallel setting where balls are allocated in batches of size $b$, and balls within the same batch are allocated with the same strategy and based on the same load information. For small batch sizes $b\in[n,n\log n]$, it was shown in [LS22a] that Two-Choice achieves an asymptotically optimal gap among all processes with a constant number of samples. In this work, we focus on larger batch sizes $b\in[n\log n,n^3]$. It was proved in [LS22c] that Two-Choice leads to a gap of $\Theta(b/n)$. As our main result, we prove that the gap reduces to $O(\sqrt{(b/n)\cdot\log n})$, if one runs the $(1+\beta)$-process with an appropriately chosen $\beta$ (in fact this result holds for a larger class of processes). This not only proves the phenomenon that Two-Choice is not the best (leading to the formation of "towers" over previously light bins), but also that mixing two processes (One-Choice and Two-Choice) leads to a process which achieves a gap that is asymptotically smaller than both. We also derive a matching lower bound of $\Omega(\sqrt{(b/n)\cdot\log n})$ for any allocation process, which demonstrates that the above $(1+\beta)$-process is asymptotically optimal.


翻译:在批量负载均衡问题中,目标是将$m$个球放入$n$个箱子,以最小化间隙(最大负载与平均负载之差)。单选择过程将每个球独立均匀随机地放入一个箱子。双选择过程则将球放入两个采样箱子中负载较轻的一个。最后,$(1+\beta)$过程混合了这些策略:每个球以概率$\beta\in(0,1)$采用双选择,否则采用单选择。尽管双选择在顺序场景中是最优的,但实践中发现它在并行环境中表现不佳,因为负载信息可能过时。依据[BCEFN12],我们研究这样的并行设置:球以大小为$b$的批次分配,同一批次内的球采用相同策略并基于相同的负载信息。对于小批次大小$b\in[n,n\log n]$,[LS22a]已证明双选择在具有常数个采样的所有过程中能达到渐近最优间隙。本文关注更大批次大小$b\in[n\log n,n^3]$。[LS22c]证明双选择导致间隙为$\Theta(b/n)$。作为主要结果,我们证明若采用适当选择$\beta$的$(1+\beta)$过程,间隙可降至$O(\sqrt{(b/n)\cdot\log n})$(实际上该结论对更大类别的过程成立)。这不仅证实了双选择并非最优的现象(导致"塔"结构形成于先前轻载的箱子上),还表明混合两种过程(单选择和双选择)能产生间隙渐近小于两者的过程。我们还为任何分配过程推导出匹配的下界$\Omega(\sqrt{(b/n)\cdot\log n})$,证明上述$(1+\beta)$过程是渐近最优的。

0
下载
关闭预览

相关内容

专知会员服务
19+阅读 · 2021年7月11日
因果效应估计组合拳:Reweighting和Representation
PaperWeekly
0+阅读 · 2022年9月2日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
数据分析师应该知道的16种回归技术:弹性网络回归
数萃大数据
91+阅读 · 2018年8月16日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2023年6月2日
VIP会员
最新内容
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
3+阅读 · 今天8:04
《异构人类团队的协作决策过程混合建模研究》
专知会员服务
4+阅读 · 今天7:59
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
4+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
7+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
11+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
7+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
10+阅读 · 7月26日
相关资讯
因果效应估计组合拳:Reweighting和Representation
PaperWeekly
0+阅读 · 2022年9月2日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
数据分析师应该知道的16种回归技术:弹性网络回归
数萃大数据
91+阅读 · 2018年8月16日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员