Message delivery respecting causal ordering (causal delivery) is one of the most classic and widely useful abstraction for inter-process communication in a distributed system. Most approaches tag messages with causality information and buffer them at the receiver until they can be safely delivered. Except for specific approaches that exploit communication topology, therefore not generally applicable, they incur a metadata overhead which is prohibitive for a large number of processes. Much less used are the approaches that enforce causal order by buffering messages at the sender, until it is safe to release them to the network, as the classic algorithm has too many drawbacks. In this paper, first we discuss the limitations of sender-only buffering approaches and introduce the Sender Permission to Send (SPS) enforcement strategy, showing that SPS + FIFO implies Causal. We analyze a recent sender-buffering algorithm, Cykas, which follows SPS + FIFO, albeit very conservatively, pointing out throughput scalability and liveness issues. Then, we introduce a novel SPS + FIFO based algorithm, which adopts a new hybrid approach: enforcing causality by combining sender-buffering to enforce SPS and receiver-buffering to enforce FIFO. The algorithm overcomes limitations of sender-only buffering, and achieves effectively constant metadata size per message. By a careful choice of data-structures, the algorithm is also computationally-optimal, with amortized effectively constant processing overhead. As far as we know, there is no other topology-agnostic causal delivery algorithm with these properties.


翻译:因果顺序消息交付(因果交付)是分布式系统中进程间通信最经典且广泛适用的抽象之一。大多数方法通过为消息附加因果信息并在接收方进行缓冲,直至消息可安全交付。除少数利用通信拓扑的特殊方法(因而不具普适性)外,这些方法会产生使元数据开销随进程数量增长而急剧增加的问题。基于发送方缓冲的方法(通过暂存消息直至可安全释放至网络来强制因果顺序)则较少使用,因为经典算法存在诸多缺陷。本文首先探讨纯发送方缓冲方法的局限性,提出"发送方许可发送"(SPS)强制策略,证明SPS与FIFO结合可推导出因果性。我们分析了近期遵循SPS+FIFO原则的发送方缓冲算法Cykas,指出其过于保守的设计导致的吞吐可扩展性与活性问题。随后,我们提出一种基于SPS+FIFO的新型算法,采用混合策略:结合发送方缓冲强制SPS与接收方缓冲强制FIFO来实现因果性。该算法克服了纯发送方缓冲的局限,实现每条消息的元数据规模近似恒定。通过精心设计数据结构,算法同时达到计算最优,具有摊销意义上的近似恒定处理开销。据我们所知,目前尚无其他拓扑无关的因果交付算法同时具备这些特性。

0
下载
关闭预览

相关内容

专知会员服务
80+阅读 · 2021年5月27日
因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
基于深度元学习的因果推断新方法
图与推荐
12+阅读 · 2020年7月21日
因果推理学习算法资源大列表
专知
27+阅读 · 2019年3月3日
读扩散?写扩散?推拉架构一文搞定!
架构师之路
17+阅读 · 2019年2月1日
【学界】融合对抗学习的因果关系抽取
GAN生成式对抗网络
15+阅读 · 2018年7月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
26+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2008年12月31日
VIP会员
相关VIP内容
专知会员服务
80+阅读 · 2021年5月27日
因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
26+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员