As data volumes continue to grow, optimizing database performance has become increasingly critical, making the implementation of effective tuning methods essential. Among various approaches, database parameter tuning has proven to be a highly effective means of enhancing performance. Recent studies have shown that machine learning techniques can successfully optimize database parameters, leading to significant performance improvements. However, existing methods still face several limitations. First, they require substantial time to generate large training datasets. Second, to cope with the challenges of highdimensional optimization, they typically optimize only a subset of parameters rather than the full configuration space. Third, they often rely on information from similar workloads instead of directly leveraging information from the target workload. To address these limitations, we propose LatentTune, a novel approach that differs fundamentally from traditional methods. To reduce the time required for data generation, LatentTune incorporates a data augmentation strategy. Furthermore, it constructs a latent space that compresses information from all database parameters, enabling the optimization of the full configuration space. In addition, LatentTune integrates external metric information into the latent space, allowing for precise tuning tailored to the actual target workload. Experimental results demonstrate that LatentTune outperforms baseline models across four workloads on MySQL and RocksDB, achieving up to 1332% improvement for RocksDB and 11.82% throughput gain with 46.01% latency reduction for MySQL.


翻译:随着数据量的持续增长,优化数据库性能变得日益关键,这使得实施有效的调优方法至关重要。在各种方法中,数据库参数调优已被证明是提升性能的高效手段。近期研究表明,机器学习技术能够成功优化数据库参数,带来显著的性能提升。然而,现有方法仍面临若干局限。首先,它们需要大量时间生成大规模训练数据集。其次,为应对高维优化的挑战,它们通常仅优化参数子集而非完整的配置空间。第三,它们往往依赖相似工作负载的信息,而非直接利用目标工作负载的信息。为克服这些局限,我们提出LatentTune——一种与传统方法存在根本性差异的新方法。为减少数据生成所需时间,LatentTune引入了数据增强策略。此外,该方法构建了一个潜在空间,用于压缩所有数据库参数的信息,从而实现对完整配置空间的优化。同时,LatentTune将外部度量信息整合到潜在空间中,使得能够针对实际目标工作负载进行精准调优。实验结果表明,在MySQL和RocksDB的四种工作负载上,LatentTune均优于基线模型:在RocksDB上实现了最高1332%的性能提升,在MySQL上获得了11.82%的吞吐量增益及46.01%的延迟降低。

0
下载
关闭预览

相关内容

数据库( Database )或数据库管理系统( Database management systems )是按照数据结构来组织、存储和管理数据的仓库。目前数据管理不再仅仅是存储和管理数据,而转变成用户所需要的各种数据管理的方式。
联邦学习中基础模型参数高效微调综述
专知会员服务
16+阅读 · 2025年5月5日
有监督深度学习的优化方法研究综述
专知会员服务
40+阅读 · 2023年5月15日
深度学习网络调参技巧
AINLP
15+阅读 · 2019年11月15日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
2018年深度学习优化算法最新综述
计算机视觉战队
10+阅读 · 2018年12月11日
谷歌推出新型数据增强算法:AutoAugment
论智
20+阅读 · 2018年6月6日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员