Traditional query processing relies on engines that are carefully optimized and engineered by many experts. However, new techniques and user requirements evolve rapidly, and existing systems often cannot keep pace. At the same time, these systems are difficult to extend due to their internal complexity, and developing new systems requires substantial engineering effort and cost. In this paper, we argue that recent advances in Large Language Models (LLMs) are starting to shape the next generation of query processing systems. We propose using LLMs to synthesize execution code for each incoming query, instead of continuously building, extending, and maintaining complex query processing engines. As a proof of concept, we present GenDB, an LLM-powered agentic system that generates instance-optimized and customized query execution code tailored to specific data, workloads, and hardware resources. We implemented an early prototype of GenDB that uses Claude Code Agent as the underlying component in the multi-agent system, and we evaluate it on OLAP workloads. We use queries from the well-known TPC-H benchmark and also construct a new benchmark designed to reduce potential data leakage from LLM training data. We compare GenDB with state-of-the-art query engines, including DuckDB, Umbra, MonetDB, ClickHouse, and PostgreSQL. GenDB achieves significantly better performance than these systems. Finally, we discuss the current limitations of GenDB and outline future extensions and related research challenges.


翻译:传统查询处理依赖于由众多专家精心优化和设计的引擎。然而,新技术和用户需求快速演变,现有系统往往难以跟上步伐。同时,由于内部复杂性,这些系统难以扩展,而开发新系统则需要大量的工程投入和成本。本文认为,大型语言模型(LLMs)的最新进展正在塑造下一代查询处理系统。我们提出利用LLMs为每个传入查询合成执行代码,而非持续构建、扩展和维护复杂的查询处理引擎。作为概念验证,我们提出了GenDB,这是一个由LLM驱动的智能体系统,能够生成针对特定数据、工作负载和硬件资源进行实例优化和定制的查询执行代码。我们实现了GenDB的早期原型,该系统在多智能体架构中以Claude Code Agent作为底层组件,并在OLAP工作负载上对其进行了评估。我们使用了知名TPC-H基准测试中的查询,并构建了一个旨在减少LLM训练数据潜在泄露的新基准。我们将GenDB与包括DuckDB、Umbra、MonetDB、ClickHouse和PostgreSQL在内的先进查询引擎进行了比较。GenDB的性能显著优于这些系统。最后,我们讨论了GenDB当前的局限性,并概述了未来的扩展方向及相关研究挑战。

0
下载
关闭预览

相关内容

上下文工程到底是什么?一文起底
专知会员服务
23+阅读 · 2025年7月21日
什么是后训练?大语言模型训练后优化方法综述,87页pdf
【综述论文】2020年最新深度学习自然语言处理进展综述论文!!!
深度学习自然语言处理
13+阅读 · 2020年4月6日
报告 | 腾讯知文,从0到1打造下一代智能问答引擎【CCF-GAIR】
机器学习算法与Python学习
13+阅读 · 2018年7月4日
放弃 RNN/LSTM 吧,因为真的不好用!望周知~
人工智能头条
19+阅读 · 2018年4月24日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
3+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
10+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
7+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
战略前沿人工智能的再思考(中文)
专知会员服务
8+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
6+阅读 · 5月29日
相关VIP内容
上下文工程到底是什么?一文起底
专知会员服务
23+阅读 · 2025年7月21日
什么是后训练?大语言模型训练后优化方法综述,87页pdf
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员