Understanding data change is critical towards understanding trends, normal vs. abnormal behaviours, recognizing patterns, and the causes of change. Existing database systems have limited support for change management, relying on statistics, triggers, and constraints. Data quality rules model sequential changes along a restricted set of attributes, quantify change among unordered tuples, and have limited ability to model the context under which attribute changes occur. In this paper, we introduce Change Rules (CRs) that quantify the sequential changes among ordered tuples in both the antecedent and consequent attributes. CRs aim to address the limitations of existing declarative dependencies to support trend analysis and causal relationships that trigger change among attributes. We propose CR-Miner, an automated algorithm for CR discovery that generates candidate change intervals in a level-wise manner. Experimental results show that CR-Miner achieves an average runtime improvement of 40-50% over existing baselines.


翻译:理解数据变更对于洞悉趋势、区分正常与异常行为、识别模式以及分析变更成因至关重要。现有数据库系统对变更管理的支持有限,主要依赖统计信息、触发器和约束条件。数据质量规则仅能沿有限属性集建模序列变更,量化无序元组间的变更程度,且对属性变更发生的上下文建模能力不足。本文提出变更规则(Change Rules, CRs),该规则可量化有序元组在前项与后项属性上的序列变更。CRs旨在弥补现有声明式依赖的局限,以支持趋势分析及触发属性变更的因果关系探索。我们提出了CR-Miner算法,通过逐层生成候选变更区间实现CR的自动化发现。实验结果表明,与现有基准方法相比,CR-Miner平均运行效率提升40-50%。

0
下载
关闭预览

相关内容

《数据安全技术 数据分类分级规则》发布
专知会员服务
32+阅读 · 2024年3月22日
国家标准《物联网 数据质量》(征求意见稿)
专知会员服务
52+阅读 · 2022年9月13日
专知会员服务
37+阅读 · 2021年2月26日
如何做数据治理?
智能交通技术
19+阅读 · 2019年4月20日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
数据分析师应该知道的16种回归方法:定序回归
数萃大数据
16+阅读 · 2018年9月9日
【入门】数据分析六部曲
36大数据
18+阅读 · 2017年12月6日
一位数据分析师的书单
R语言中文社区
12+阅读 · 2017年10月28日
【大数据】数据挖掘与数据分析知识流程梳理
产业智能官
13+阅读 · 2017年9月22日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Arxiv
17+阅读 · 2023年12月4日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关资讯
如何做数据治理?
智能交通技术
19+阅读 · 2019年4月20日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
数据分析师应该知道的16种回归方法:定序回归
数萃大数据
16+阅读 · 2018年9月9日
【入门】数据分析六部曲
36大数据
18+阅读 · 2017年12月6日
一位数据分析师的书单
R语言中文社区
12+阅读 · 2017年10月28日
【大数据】数据挖掘与数据分析知识流程梳理
产业智能官
13+阅读 · 2017年9月22日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员