Discovering valuable insights from rich data is a crucial task for exploratory data analysis. Sequential pattern mining (SPM) has found widespread applications across various domains. In recent years, low-utility sequential pattern mining (LUSPM) has shown strong potential in applications such as intrusion detection and genomic sequence analysis. However, existing research in utility-based SPM focuses on high-utility sequential patterns, and the definitions and strategies used in high-utility SPM cannot be directly applied to LUSPM. Moreover, no algorithms have yet been developed specifically for mining low-utility sequential patterns. To address these problems, we formalize the LUSPM problem, redefine sequence utility, and introduce a compact data structure called the sequence-utility chain to efficiently record utility information. Furthermore, we propose three novel algorithm--LUSPM_b, LUSPM_s, and LUSPM_e--to discover the complete set of low-utility sequential patterns. LUSPM_b serves as an exhaustive baseline, while LUSPM_s and LUSPM_e build upon it, generating subsequences through shrinkage and extension operations, respectively. In addition, we introduce the maximal non-mutually contained sequence set and incorporate multiple pruning strategies, which significantly reduce redundant operations in both LUSPM_s and LUSPM_e. Finally, extensive experimental results demonstrate that both LUSPM_s and LUSPM_e substantially outperform LUSPM_b and exhibit excellent scalability. Notably, LUSPM_e achieves superior efficiency, requiring less runtime and memory consumption than LUSPM_s. Our code is available at https://github.com/Zhidong-Lin/LUSPM.


翻译:从丰富数据中发现有价值的洞察是探索性数据分析的关键任务。序列模式挖掘(SPM)已在各个领域得到广泛应用。近年来,低效用序列模式挖掘(LUSPM)在入侵检测和基因组序列分析等应用中展现出强大潜力。然而,现有基于效用的SPM研究聚焦于高效用序列模式,而高效用SPM中使用的定义和策略无法直接应用于LUSPM。此外,目前尚未开发出专门用于挖掘低效用序列模式的算法。为解决这些问题,我们形式化定义了LUSPM问题,重新定义了序列效用,并引入了一种称为序列效用链的紧凑数据结构以高效记录效用信息。进一步地,我们提出了三种新颖算法——LUSPM_b、LUSPM_s和LUSPM_e——用于发现完整的低效用序列模式集合。LUSPM_b作为穷举基线算法,而LUSPM_s和LUSPM_e在此基础上分别通过收缩和扩展操作生成子序列。此外,我们引入了最大非互含序列集,并整合了多种剪枝策略,显著减少了LUSPM_s和LUSPM_e中的冗余操作。最终,大量实验结果表明,LUSPM_s和LUSPM_e均大幅优于LUSPM_b,并展现出优异的可扩展性。值得注意的是,LUSPM_e实现了更高的效率,其运行时间和内存消耗均低于LUSPM_s。我们的代码开源地址为 https://github.com/Zhidong-Lin/LUSPM。

0
下载
关闭预览

相关内容

大语言模型在序列推荐中的应用
专知会员服务
19+阅读 · 2024年11月12日
【电子书】大数据挖掘,Mining of Massive Datasets,附513页PDF
专知会员服务
105+阅读 · 2020年3月22日
流程/过程挖掘(Process Mining)最新综述
PaperWeekly
23+阅读 · 2022年9月19日
时空数据挖掘:综述
专知
36+阅读 · 2022年6月30日
基于知识图谱的文本挖掘 - 超越文本挖掘
专知
40+阅读 · 2019年8月18日
清华178页深度报告:一文看懂AI数据挖掘
人工智能学家
10+阅读 · 2019年2月18日
关于数据挖掘,有几本书推荐给你......
图灵教育
16+阅读 · 2017年10月11日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2008年12月31日
Arxiv
0+阅读 · 4月23日
VIP会员
相关主题
最新内容
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
1+阅读 · 52分钟前
《异构人类团队的协作决策过程混合建模研究》
专知会员服务
3+阅读 · 57分钟前
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
2+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
7+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
10+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
6+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
9+阅读 · 7月26日
相关VIP内容
大语言模型在序列推荐中的应用
专知会员服务
19+阅读 · 2024年11月12日
【电子书】大数据挖掘,Mining of Massive Datasets,附513页PDF
专知会员服务
105+阅读 · 2020年3月22日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员