Existing serverless workflow orchestration systems are predominantly designed for a single-cloud FaaS system, leading to vendor lock-in. This restricts performance optimization, cost reduction, and availability of applications. However, orchestrating serverless workflows on Jointcloud FaaS systems faces two main challenges: (1) additional overhead caused by centralized cross-cloud orchestration; and (2) a lack of reliable failover and fault-tolerant mechanisms for cross-cloud serverless workflows. To address these challenges, we propose Joint$λ$, a distributed runtime system designed to orchestrate serverless workflows on multiple FaaS systems without relying on a centralized orchestrator. Joint$λ$ introduces a compatibility layer, Backend-Shim, leveraging inter-cloud heterogeneity to optimize makespan and reduce costs with on-demand billing. By using function-side orchestration instead of centralized nodes, it enables independent function invocations and data transfers, reducing cross-cloud communication overhead. For high availability, it ensures exactly-once execution via datastores and failover mechanisms for serverless workflows on Jointcloud FaaS systems. We validate Joint$λ$ on two heterogeneous FaaS systems, AWS and Aliyun, with four workflows. Compared to the most advanced commercial orchestration services for single-cloud serverless workflows, Joint$λ$ reduces makespan by up to 3.3$\times$ while saving up to 65% in cost. Joint$λ$ is also up to 4.0$\times$ faster than state-of-the-art orchestrators for cross-cloud serverless workflows, while achieving competitive cost in representative scenarios and providing strong execution guarantees.


翻译:摘要:现有的无服务器工作流编排系统主要针对单云FaaS系统设计,导致供应商锁定问题。这限制了应用的性能优化、成本降低和可用性。然而,在联合云FaaS系统上编排无服务器工作流面临两大挑战:(1)集中式跨云编排带来的额外开销;(2)缺乏可靠的跨云无服务器工作流故障转移与容错机制。为应对这些挑战,我们提出Joint$λ$,一种无需依赖集中式编排器即可在多个FaaS系统上编排无服务器工作流的分布式运行时系统。Joint$λ$引入兼容层Backend-Shim,利用跨云异构性优化完工时间,并通过按需计费降低成本。通过采用函数端编排替代集中式节点,系统实现独立的函数调用与数据传输,从而降低跨云通信开销。在高可用性方面,系统借助数据存储和故障转移机制,确保联合云FaaS系统上无服务器工作流的恰好一次执行。我们在AWS和阿里云两个异构FaaS系统上,通过四个工作流验证了Joint$λ$的性能。与单云无服务器工作流领域最先进的商业编排服务相比,Joint$λ$将完工时间降低至多3.3倍,同时节省高达65%的成本。相较于现有跨云无服务器工作流编排器,Joint$λ$的速度提升至多4.0倍,且在代表性场景中实现具有竞争力的成本,并提供强执行保证。

0
下载
关闭预览

相关内容

【伯克利博士论文】理解和探索无服务器云计算,233页pdf
专知会员服务
22+阅读 · 2022年12月31日
《无人智群及其社会融合》最新论文,中国工程院院刊
专知会员服务
28+阅读 · 2022年6月20日
专知会员服务
36+阅读 · 2021年8月1日
《“边缘计算+”技术白皮书》,82页pdf
专知
11+阅读 · 2022年8月28日
专访阿里亚顿:Serverless与BFF与前端
前端之巅
45+阅读 · 2019年5月8日
CVPR 2019 | PointConv:在点云上高效实现卷积操作
机器之心
10+阅读 · 2019年4月21日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
5+阅读 · 6月25日
网状网络及其在军事领域的运用
专知会员服务
7+阅读 · 6月25日
无美国参与的欧洲战争方式(万字长文)
专知会员服务
8+阅读 · 6月25日
《国防领域敏感性分析白皮书》
专知会员服务
8+阅读 · 6月25日
综述 | 从问答到任务完成:Agent系统与Harness设计
Agentic RL:框架、实践与长程智能体训练
专知会员服务
10+阅读 · 6月24日
重新思考无人机时代的生存能力
专知会员服务
10+阅读 · 6月24日
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
7+阅读 · 6月24日
在人工智能加速决策环境中拓展OODA循环
专知会员服务
10+阅读 · 6月24日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员