Configuring stream processing systems for efficient performance, especially in cloud-native deployments, is a challenging and largely manual task. We present an experiment-driven approach for automated configuration optimization that combines three phases: Latin Hypercube Sampling for initial exploration, Simulated Annealing for guided stochastic search, and Hill Climbing for local refinement. The workflow is integrated with the cloud-native Theodolite benchmarking framework, enabling automated experiment orchestration on Kubernetes and early termination of underperforming configurations. In an experimental evaluation with Kafka Streams and a Kubernetes-based cloud testbed, our approach identifies configurations that improve throughput by up to 23% over the default. The results indicate that Latin Hypercube Sampling with early termination and Simulated Annealing are particularly effective in navigating the configuration space, whereas additional fine-tuning via Hill Climbing yields limited benefits.


翻译:为流处理系统配置高效性能(尤其在云原生部署场景中)是一项具有挑战性且高度依赖人工的任务。本文提出一种实验驱动的自动化配置优化方法,该方法融合三个阶段:采用拉丁超立方采样进行初始探索,利用模拟退火算法执行引导式随机搜索,并借助爬山算法完成局部优化。该工作流与云原生基准测试框架Theodolite集成,支持在Kubernetes上实现自动化实验编排及对低效配置的早期终止机制。基于Kafka Streams与Kubernetes云测试平台的实验评估表明,本方法所发现的配置方案相较于默认配置可提升高达23%的吞吐量。结果显示:结合早期终止机制的拉丁超立方采样与模拟退火算法在配置空间探索中效果显著,而通过爬山算法进行的额外微调则收益有限。

0
下载
关闭预览

相关内容

在数学和计算机科学之中,算法(Algorithm)为一个计算的具体步骤,常用于计算、数据处理和自动推理。精确而言,算法是一个表示为有限长列表的有效方法。算法应包含清晰定义的指令用于计算函数。 来自维基百科: 算法
【2023新书】流程系统工程的高级优化,206页pdf
专知会员服务
65+阅读 · 2023年9月25日
「分布式机器学习系统网络性能优化」研究进展
专知会员服务
28+阅读 · 2022年10月1日
Kyoto大学Toshiyuki:快速复杂控制系统的实时优化,133页ppt
【博士论文】集群系统中的网络流调度
专知会员服务
47+阅读 · 2021年12月7日
最新《流处理系统演化》综述论文,34页pdf
专知会员服务
21+阅读 · 2020年8月4日
自动特征工程在推荐系统中的研究
DataFunTalk
10+阅读 · 2019年12月20日
以BERT为例,如何优化机器学习模型性能?
专知
10+阅读 · 2019年10月3日
推荐系统原理、工程、大厂(Youtube、BAT、TMB)架构干活分享
从动力学角度看优化算法:GAN的第三个阶段
PaperWeekly
11+阅读 · 2019年5月13日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
详解 | 推荐系统的工程实现
AI100
42+阅读 · 2019年3月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月1日
VIP会员
最新内容
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
0+阅读 · 今天16:48
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
3+阅读 · 今天14:04
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
6+阅读 · 今天13:49
基于声学的无人机检测技术综述
专知会员服务
5+阅读 · 今天13:37
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
5+阅读 · 今天13:11
战略前沿人工智能的再思考(中文)
专知会员服务
7+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
5+阅读 · 5月29日
相关资讯
自动特征工程在推荐系统中的研究
DataFunTalk
10+阅读 · 2019年12月20日
以BERT为例,如何优化机器学习模型性能?
专知
10+阅读 · 2019年10月3日
推荐系统原理、工程、大厂(Youtube、BAT、TMB)架构干活分享
从动力学角度看优化算法:GAN的第三个阶段
PaperWeekly
11+阅读 · 2019年5月13日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
详解 | 推荐系统的工程实现
AI100
42+阅读 · 2019年3月15日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员