Configuring stream processing systems for efficient performance, especially in cloud-native deployments, is a challenging and largely manual task. We present an experiment-driven approach for automated configuration optimization that combines three phases: Latin Hypercube Sampling for initial exploration, Simulated Annealing for guided stochastic search, and Hill Climbing for local refinement. The workflow is integrated with the cloud-native Theodolite benchmarking framework, enabling automated experiment orchestration on Kubernetes and early termination of underperforming configurations. In an experimental evaluation with Kafka Streams and a Kubernetes-based cloud testbed, our approach identifies configurations that improve throughput by up to 23% over the default. The results indicate that Latin Hypercube Sampling with early termination and Simulated Annealing are particularly effective in navigating the configuration space, whereas additional fine-tuning via Hill Climbing yields limited benefits.


翻译:暂无翻译

0
下载
关闭预览

相关内容

国家标准《信息技术云计算参考架构》
专知会员服务
35+阅读 · 2024年5月24日
【2023新书】流程系统工程的高级优化,206页pdf
专知会员服务
65+阅读 · 2023年9月25日
工业人工智能驱动的流程工业智能制造
专知会员服务
106+阅读 · 2022年3月9日
专知会员服务
116+阅读 · 2021年4月7日
最新《流处理系统演化》综述论文,34页pdf
专知会员服务
21+阅读 · 2020年8月4日
流程/过程挖掘(Process Mining)最新综述
PaperWeekly
23+阅读 · 2022年9月19日
【APC】先进过程控制系统(APC: Advanced Process Control)
产业智能官
69+阅读 · 2020年7月12日
【数据中台】数据中台技术架构方案
产业智能官
15+阅读 · 2020年5月26日
车路协同构建“通信+计算”新体系
智能交通技术
11+阅读 · 2019年3月26日
【大数据】StreamSets:一个大数据采集工具
产业智能官
40+阅读 · 2018年12月5日
【APS】PCB企业如何实现APS自动排程系统
产业智能官
13+阅读 · 2018年9月24日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关资讯
流程/过程挖掘(Process Mining)最新综述
PaperWeekly
23+阅读 · 2022年9月19日
【APC】先进过程控制系统(APC: Advanced Process Control)
产业智能官
69+阅读 · 2020年7月12日
【数据中台】数据中台技术架构方案
产业智能官
15+阅读 · 2020年5月26日
车路协同构建“通信+计算”新体系
智能交通技术
11+阅读 · 2019年3月26日
【大数据】StreamSets:一个大数据采集工具
产业智能官
40+阅读 · 2018年12月5日
【APS】PCB企业如何实现APS自动排程系统
产业智能官
13+阅读 · 2018年9月24日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员