Modern enterprise platforms increasingly depend on distributed microservices, analytical data platforms, and external APIs to construct composite responses for applications. Orchestrating data retrieval across these heterogeneous systems is challenging because many workflow platforms rely on predefined workflows or state-machine definitions. Systems such as Apache Airflow, AWS Step Functions, and Temporal provide powerful orchestration capabilities but typically assume workflows are defined prior to execution. This paper presents a configuration-driven runtime orchestration framework for dynamic data retrieval in distributed systems. The framework generates execution graphs dynamically from configuration at request time, enabling low-latency orchestration without redeploying workflow code when integrations evolve. The execution planner performs dependency-aware scheduling and parallel execution of independent tasks, allowing efficient aggregation across distributed services. The paper describes the architecture, execution model, and operational tradeoffs of this framework, and presents a representative enterprise case study for Customer 360 retrieval. The approach demonstrates how runtime configuration can enable flexible and scalable orchestration in rapidly evolving integration environments.


翻译:现代企业平台日益依赖分布式微服务、分析数据平台和外部API来构建应用程序的复合响应。在这些异构系统间协调数据检索具有挑战性,因为许多工作流平台依赖于预定义的工作流或状态机定义。Apache Airflow、AWS Step Functions和Temporal等系统虽然提供了强大的编排能力,但通常假设工作流在执行前已定义完成。本文提出一种面向分布式系统动态数据检索的配置驱动型运行时编排框架。该框架能够在请求时根据配置动态生成执行图,实现在集成演进时无需重新部署工作流代码的低延迟编排。执行规划器执行依赖感知调度和独立任务的并行执行,支持跨分布式服务的高效聚合。本文阐述了该框架的体系结构、执行模型和运维权衡,并通过客户360数据检索的典型企业案例研究进行说明。该方法展示了在快速演进的集成环境中,运行时配置如何实现灵活且可扩展的编排。

0
下载
关闭预览

相关内容

分布式系统稳定性建设指南2022年(100页pdf)
专知会员服务
26+阅读 · 2022年6月24日
大规模时间序列分析框架的研究与实现,计算机学报
专知会员服务
59+阅读 · 2020年7月13日
【数据中台】数据中台技术架构方案
产业智能官
15+阅读 · 2020年5月26日
基于MySQL Binlog的Elasticsearch数据同步实践
DBAplus社群
15+阅读 · 2019年9月3日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
时序异常检测算法概览
论智
29+阅读 · 2018年8月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
分布式系统稳定性建设指南2022年(100页pdf)
专知会员服务
26+阅读 · 2022年6月24日
大规模时间序列分析框架的研究与实现,计算机学报
专知会员服务
59+阅读 · 2020年7月13日
相关资讯
【数据中台】数据中台技术架构方案
产业智能官
15+阅读 · 2020年5月26日
基于MySQL Binlog的Elasticsearch数据同步实践
DBAplus社群
15+阅读 · 2019年9月3日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
时序异常检测算法概览
论智
29+阅读 · 2018年8月30日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员