Database theory is exciting because it studies highly general and practically useful abstractions. Conjunctive query (CQ) evaluation is a prime example: it simultaneously generalizes graph pattern matching, constraint satisfaction, and statistical inference, among others. This generality is both the strength and the central challenge of the field. The query optimization and evaluation problem is fundamentally a "meta-algorithm" problem: given a query $Q$ and statistics $\cal S$ about the input database, how should one best answer $Q$? Because the problem is so general, it is often impossible for such a meta-algorithm to match the runtimes of specialized algorithms designed for a fixed query -- or so it seemed. The past fifteen years have witnessed an exciting development in database theory: a general framework, called PANDA, that emerged from advances in database theory, constraint satisfaction problems (CSP), and graph algorithms, for evaluating conjunctive queries given input data statistics. The key idea is to derive information-theoretically tight upper bounds on the cardinalities of intermediate relations produced during query evaluation. These bounds determine the costs of query plans, and crucially, the query plans themselves are derived directly from the mathematical proof of the upper bound. This tight coupling of proof and algorithm is what makes PANDA both principled and powerful. Remarkably, this generic algorithm matches -- and in some cases subsumes -- the runtimes of specialized algorithms for the same problems, including algorithms that exploit fast matrix multiplication. This paper is a tutorial on the PANDA framework. We illustrate the key ideas through concrete examples, conveying the main intuitions behind the theory.


翻译:数据库理论之所以令人振奋,在于其研究高度通用且具有实际意义的抽象概念。合取查询评估便是典型范例:它同时涵盖了图模式匹配、约束满足和统计推断等领域。这种通用性既是该领域的优势,也是核心挑战。查询优化与评估问题本质上是一个"元算法"问题:给定查询$Q$和输入数据库的统计信息$\cal S$,如何以最佳方式回答$Q$?由于该问题极具通用性,这类元算法往往难以达到针对固定查询设计的专用算法的运行时间——但事实似乎并非如此。过去十五年间,数据库理论迎来了一项激动人心的发展:基于数据库理论、约束满足问题与图算法的进步,诞生了名为PANDA的通用框架,用于根据输入数据统计信息评估合取查询。其核心思想是在查询评估过程中,对中间关系产生的基数推导出信息论意义上的紧上界。这些上界决定了查询计划的代价,而更重要的是,查询计划本身直接源自对上述上界的数学证明。正是这种证明与算法的紧密耦合,使PANDA兼具严谨性与强大性。值得注意的是,该通用算法在同类问题的运行时间上能媲美——甚至在某些情况下超越——包含快速矩阵乘法在内的专用算法。本文是PANDA框架的教程,通过具体实例阐释核心思想,传递该理论的主要直觉。

0
下载
关闭预览

相关内容

在数学和计算机科学之中,算法(Algorithm)为一个计算的具体步骤,常用于计算、数据处理和自动推理。精确而言,算法是一个表示为有限长列表的有效方法。算法应包含清晰定义的指令用于计算函数。 来自维基百科: 算法
【干货书】优化:原理和算法,738页pdf
专知会员服务
106+阅读 · 2023年6月24日
【经典书】信息论原理,774页pdf
专知会员服务
266+阅读 · 2021年3月22日
普林斯顿大学经典书《在线凸优化导论》,178页pdf
专知会员服务
187+阅读 · 2020年2月3日
最新《图嵌入组合优化》综述论文,40页pdf
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
1+阅读 · 今天14:52
《各指挥层级均亟需红队能力》报告
专知会员服务
2+阅读 · 今天14:46
《远程传感对战机架次生成影响的仿真研究》80页
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
7+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
9+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员