A novel, stochastic approach to amputation, the process of introducing missing values to a complete dataset, is presented. It allows one to construct a wide variety of missingness patterns by only having to specify distributions of missingness indicators as opposed to specifying each missingness pattern manually. Missingness indicators are modeled in a principled way via copulas and Bernoulli margins, thus allowing one to incorporate dependence in missingness patterns. Besides more classical missingness mechanisms such as missing completely at random, missing at random, and missing not at random, the approach is able to model structured missingness such as block missingness and, via mixtures, monotone missingness, which are patterns of missing data frequently found in real-life datasets. Properties such as joint missingness probabilities or missingness correlation are derived mathematically. The flexibility of the approach in capturing different missingness patterns while only requiring to specify distributional assumptions on missingness indicators is demonstrated with mathematical examples and empirical illustrations in terms of a well-known example dataset of sufficiently small sample size that allows to identify each missing data point visually. Finally, an example application to multivariate financial time series is provided.


翻译:本文提出了一种新颖的随机截断方法,即向完整数据集中引入缺失值的过程。该方法仅需指定缺失指示变量的分布,而非逐一设定每种缺失模式,即可构建多种多样的缺失数据模式。基于copula函数和伯努利边际分布,缺失指示变量被以统一原理建模,从而能够刻画缺失模式间的相依性。除经典缺失机制(如完全随机缺失、随机缺失和非随机缺失)外,该方法还可建模结构化缺失模式(如区块缺失)及通过混合模型实现单调缺失——这些模式常见于真实数据集。本文从数学上推导了联合缺失概率、缺失相关性等性质。通过数学示例及基于经典小样本数据集的实证可视化(确保每个缺失数据点均可肉眼识别),论证了该方法仅需对缺失指示变量设定分布假设即可灵活捕捉不同缺失模式的特性。最后,以多元金融时间序列为例展示了应用场景。

0
下载
关闭预览

相关内容

伯克利《因果推断》讲义,因果推断第一课,全文428页
专知会员服务
149+阅读 · 2023年6月3日
专知会员服务
10+阅读 · 2021年10月1日
【干货书】贝叶斯推断随机过程,449页pdf
专知会员服务
156+阅读 · 2020年8月27日
【干货书】贝叶斯推断随机过程,449页pdf
专知
31+阅读 · 2020年8月27日
使用BERT做文本摘要
专知
23+阅读 · 2019年12月7日
Shreya Gherani:BERT庖丁解牛(Neo Yan翻译)
CreateAMind
10+阅读 · 2019年8月10日
一大批中文(BERT等)预训练模型等你认领!
PaperWeekly
15+阅读 · 2019年6月25日
深入理解BERT Transformer ,不仅仅是注意力机制
大数据文摘
22+阅读 · 2019年3月19日
从 Word Embedding 到 Bert:一起肢解 Bert!
人工智能头条
17+阅读 · 2018年12月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
22+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月12日
Arxiv
0+阅读 · 6月11日
Arxiv
0+阅读 · 5月11日
Arxiv
0+阅读 · 5月8日
Arxiv
0+阅读 · 4月4日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
1+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
4+阅读 · 7月17日
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
12+阅读 · 7月16日
相关VIP内容
相关论文
Arxiv
0+阅读 · 6月12日
Arxiv
0+阅读 · 6月11日
Arxiv
0+阅读 · 5月11日
Arxiv
0+阅读 · 5月8日
Arxiv
0+阅读 · 4月4日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
22+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员