The dynamic nature of many real-world systems can lead to temporal outcome model shifts, causing a deterioration in model accuracy and reliability over time. This requires change-point detection on the outcome models to guide model retraining and adjustments. However, inferring the change point of conditional models is more prone to loss of validity or power than classic detection problems for marginal distributions. This is due to both the temporal covariate shift and the complexity of the outcome model. Also, the existing method of conditional change points detection both have many limitations including linear assumption and low dimension prerequisite which sometimes is not suitable for real world application. To address these challenges, we propose a novel Model-X changE-point detectioN of conditional Distribution (MEND) method computationally enhanced with distillation function for simultaneous change-point detection and localization of the conditional outcome model. We extend and combine our model with neural network to accommodate complex nonlinear and high dimensional situation, which is proved to be valid in both simulation and real data. Theoretical validity of the proposed method is justified. Extensive simulation studies and two real-world examples demonstrate the statistical effectiveness and computational scalability of our method as well as its significant improvements over existing methods.


翻译:许多现实世界系统的动态特性可能导致结果模型随时间发生偏移,从而造成模型准确性和可靠性随时间的恶化。这需要对结果模型进行变点检测,以指导模型重新训练和调整。然而,与经典的边际分布检测问题相比,推断条件模型的变点更容易导致有效性或功效的丧失。这既源于时间上的协变量偏移,也源于结果模型的复杂性。此外,现有的条件变点检测方法都存在诸多局限性,包括线性假设和低维前提条件,这些有时并不适用于现实世界的应用。为了应对这些挑战,我们提出了一种新颖的模型-X条件分布变点检测方法,该方法通过蒸馏函数进行计算增强,用于同时进行条件结果模型的变点检测和定位。我们扩展了我们的模型,并将其与神经网络相结合,以适应复杂的非线性和高维情况,这在模拟和真实数据中都证明了其有效性。我们证明了所提方法的理论有效性。大量的模拟研究和两个现实世界的例子证明了我们方法的统计有效性和计算可扩展性,以及相对于现有方法的显著改进。

0
下载
关闭预览

相关内容

【CMU博士论文】分布偏移下的不确定性量化,226页pdf
专知会员服务
31+阅读 · 2023年9月30日
从锚点到关键点,最新的目标检测方法发展趋势
计算机视觉life
17+阅读 · 2019年8月20日
异常检测的阈值,你怎么选?给你整理好了...
机器学习算法与Python学习
10+阅读 · 2018年9月19日
论文浅尝 | 变分知识图谱推理:在KG中引入变分推理框架
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
侦测欺诈交易(异常点检测)
GBASE数据工程部数据团队
20+阅读 · 2017年5月10日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
美国当前高超音速导弹发展概述
专知会员服务
2+阅读 · 4月19日
无人机蜂群建模与仿真方法
专知会员服务
3+阅读 · 4月19日
澳大利亚发布《国防战略(2026年)》
专知会员服务
0+阅读 · 4月19日
全球高超音速武器最新发展趋势
专知会员服务
1+阅读 · 4月19日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员