Anomaly detection when observing a large number of data streams is essential in a variety of applications, ranging from epidemiological studies to monitoring of complex systems. High-dimensional scenarios are usually tackled with scan-statistics and related methods, requiring stringent modeling assumptions for proper calibration. In this work we take a non-parametric stance, and propose a permutation-based variant of the higher criticism statistic not requiring knowledge of the null distribution. This results in an exact test in finite samples which is asymptotically optimal in the wide class of exponential models. We demonstrate the power loss in finite samples is minimal with respect to the oracle test. Furthermore, since the proposed statistic does not rely on asymptotic approximations it typically performs better than popular variants of higher criticism that rely on such approximations. We include recommendations such that the test can be readily applied in practice, and demonstrate its applicability in monitoring the daily number of COVID-19 cases in the Netherlands.


翻译:在从流行病学研究到复杂系统监测等各种应用中,观测大量数据流时必须进行异常的探测,从流行病学研究到监测复杂系统,从各种应用到不同应用,从不同角度,从不同角度出发,观测大量数据流都是必不可少的,从不同角度处理高维假设,通常采用扫描统计和相关方法,要求为正确校准而采用严格的模型假设;在这项工作中,我们采取非参数立场,提出不要求了解无效分布的较高批评统计数据的基于变体的变体,不要求了解无效分布;这导致精确测试有限的样本,这在广泛的指数模型类别中是尽可能最佳的;我们证明,在试验中,有限样本的功率损失是最小的;此外,由于拟议的统计通常不依赖于非物质近似性近似性,其表现优于依赖这种近似性的批评的流行变体。我们提出了这样的建议,即试验可以很容易在实际中应用,并表明其在监测荷兰每日COVID-19案例的数量时的适用性。

0
下载
关闭预览

相关内容

专知会员服务
34+阅读 · 2021年9月16日
专知会员服务
52+阅读 · 2020年12月14日
吴恩达新书《Machine Learning Yearning》完整中文版
专知会员服务
147+阅读 · 2019年10月27日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
【新书】Python编程基础,669页pdf
专知会员服务
198+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
已删除
将门创投
3+阅读 · 2017年10月27日
Arxiv
0+阅读 · 2021年9月20日
A Survey on GANs for Anomaly Detection
Arxiv
7+阅读 · 2021年9月14日
Anomalous Instance Detection in Deep Learning: A Survey
Deep Learning for Generic Object Detection: A Survey
Arxiv
14+阅读 · 2018年9月6日
Arxiv
5+阅读 · 2017年12月14日
VIP会员
最新内容
无人机自主控制与人工智能:系统性综述
专知会员服务
8+阅读 · 今天7:25
巡飞弹与反无人机系统——现代战场的两大支柱
专知会员服务
3+阅读 · 今天6:54
《打造“黄金舰队”》57页报告
专知会员服务
2+阅读 · 今天6:52
《北约数字教官网络发展路径》128页报告
专知会员服务
2+阅读 · 今天6:33
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
7+阅读 · 6月25日
网状网络及其在军事领域的运用
专知会员服务
7+阅读 · 6月25日
无美国参与的欧洲战争方式(万字长文)
专知会员服务
8+阅读 · 6月25日
《国防领域敏感性分析白皮书》
专知会员服务
9+阅读 · 6月25日
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
10+阅读 · 6月24日
Agentic RL:框架、实践与长程智能体训练
专知会员服务
10+阅读 · 6月24日
相关VIP内容
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
已删除
将门创投
3+阅读 · 2017年10月27日
Top
微信扫码咨询专知VIP会员