Streaming data join is a critical process in the field of near-real-time data warehousing. For this purpose, an adaptive semi-stream join algorithm called CACHEJOIN (Cache Join) focusing non-uniform stream data is provided in the literature. However, this algorithm cannot exploit the memory and CPU resources optimally and consequently it leaves its service rate suboptimal due to sequential execution of both of its phases, called stream-probing (SP) phase and disk-probing (DP) phase. By integrating the advantages of CACHEJOIN, in this paper we present two modifications in it. First is called P-CACHEJOIN (Parallel Cache Join) that enables the parallel processing of two phases in CACHEJOIN. This increases number of joined stream records and therefore improves throughput considerably. Second is called OP-CACHEJOIN (Optimized Parallel Cache Join) that implements a parallel loading of stored data into memory while the DP phase is executing. We present the performance analysis of both of our approaches with existing CACHEJOIN empirically using synthetic skewed dataset.


翻译:数据串联是近实时数据仓储领域的一个关键过程。为此目的,文献中提供了一种适应性半流结合算法,称为CACHEJOIN(Cache JOIN)(Cache JOIN)(Caillel Cache JOIN)(Caillel Cache JOIN)(CACHEJOIN)(Caillel CACHEJOIN)(CACHEJOIN)(CACHEJOIN)(Parallel CACHEJOIN)(Parallel CACHECHEJOIN)(CACHEJOIN)(Parallel CACHEJOIN)),该算法无法以最佳方式利用内存和CPU资源,因此,由于连续执行两个阶段,使得其服务率低于最佳水平,称为流探测(SP)和磁盘检测(POP-CACCHECHEJOOIN)(PLACHECHI),在进行DP阶段同时将存储的数据装入记忆中。我们用合成SKEWEWASWASD数据对现有CACHEWIN方法进行了绩效分析。

0
下载
关闭预览

相关内容

知识图谱本体结构构建论文合集
专知会员服务
110+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Arxiv
5+阅读 · 2017年12月14日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Top
微信扫码咨询专知VIP会员