Work-stealing is a widely used technique for balancing irregular parallel workloads, and most modern runtime systems adopt lock-free work-stealing deques to reduce contention and improve scalability. However, existing algorithms are designed for general-purpose parallel runtimes and often incur overheads that are unnecessary in specialized settings. In this paper, we present a new lock-free work-stealing queue tailored for a master-worker framework used in the parallelization of a mixed-integer programming optimization solver based on decision diagrams. Our design supports native bulk operations, grows without bounds, and assumes at most one owner and one concurrent stealer, thereby eliminating the need for heavy synchronization. We provide an informal sketch that our queue is linearizable and lock-free under this restricted concurrency model. Benchmarks demonstrate that our implementation achieves constant-latency push performance, remaining stable even as batch size increases, in contrast to existing queues from C++ Taskflow whose latencies grow sharply with batch size. Pop operations perform comparably across all implementations, while our steal operation maintains nearly flat latency across different steal proportions. We also explore an optimized steal variant that reduces latency by up to 3x in practice. Finally, a pseudo workload based on large-graph exploration confirms that all implementations scale linearly. However, we argue that solver workloads with irregular node processing times would further amplify the advantages of our algorithm.


翻译:工作窃取是一种广泛用于平衡不规则并行工作负载的技术,大多数现代运行时系统采用无锁工作窃取双端队列以减少争用并提高可扩展性。然而,现有算法是为通用并行运行时设计的,在专用场景中常产生不必要的开销。本文提出了一种新的无锁工作窃取队列,专为基于决策图的混合整数规划优化求解器并行化中所采用的主-工作者框架而设计。我们的设计支持原生批量操作,可无界增长,并假设最多仅有一个所有者和一个并发窃取者,从而消除了对重量级同步的需求。我们提供了一个非正式的概要证明,在此受限并发模型下,我们的队列是线性化且无锁的。基准测试表明,我们的实现实现了恒定延迟的推送性能,即使批量大小增加也能保持稳定,这与C++ Taskflow中现有队列的延迟随批量大小急剧增长形成对比。弹出操作在所有实现中表现相当,而我们的窃取操作在不同窃取比例下保持近乎平坦的延迟。我们还探索了一种优化的窃取变体,在实践中可将延迟降低多达3倍。最后,基于大图探索的伪工作负载证实所有实现均能线性扩展。但我们认为,具有不规则节点处理时间的求解器工作负载将进一步放大我们算法的优势。

0
下载
关闭预览

相关内容

《深度伪造防御系统评估的系统性方法》
专知会员服务
14+阅读 · 3月16日
【博士论文】优化智能体工作流以提升信息获取效率
专知会员服务
19+阅读 · 2025年7月7日
专知会员服务
38+阅读 · 2021年10月19日
综述:军事应用中使用的一些重要算法
专知
13+阅读 · 2022年7月3日
【翻译技术速递】测评:免费的术语抽取工具
翻译技术沙龙
139+阅读 · 2019年11月2日
OpenNRE 2.0:可一键运行的开源关系抽取工具包
PaperWeekly
22+阅读 · 2019年10月30日
TheFatRat 一款简易后门工具
黑白之道
36+阅读 · 2019年10月23日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
Spooftooph - 用于欺骗或克隆蓝牙设备的自动工具
黑白之道
17+阅读 · 2019年2月27日
NetworkMiner - 网络取证分析工具
黑白之道
16+阅读 · 2018年6月29日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
超越网格:作战环境对炮兵的影响
专知会员服务
1+阅读 · 今天15:35
KDD 2026 | MixRAGRec:面向LLM推荐的混合专家KG-RAG框架
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
4+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
14+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
8+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
相关VIP内容
《深度伪造防御系统评估的系统性方法》
专知会员服务
14+阅读 · 3月16日
【博士论文】优化智能体工作流以提升信息获取效率
专知会员服务
19+阅读 · 2025年7月7日
专知会员服务
38+阅读 · 2021年10月19日
相关资讯
综述:军事应用中使用的一些重要算法
专知
13+阅读 · 2022年7月3日
【翻译技术速递】测评:免费的术语抽取工具
翻译技术沙龙
139+阅读 · 2019年11月2日
OpenNRE 2.0:可一键运行的开源关系抽取工具包
PaperWeekly
22+阅读 · 2019年10月30日
TheFatRat 一款简易后门工具
黑白之道
36+阅读 · 2019年10月23日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
Spooftooph - 用于欺骗或克隆蓝牙设备的自动工具
黑白之道
17+阅读 · 2019年2月27日
NetworkMiner - 网络取证分析工具
黑白之道
16+阅读 · 2018年6月29日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员