Suppose we have available individual data from an internal study and various types of summary statistics from relevant external studies. External summary statistics have been used as constraints on the internal data distribution, which promised to improve the statistical inference in the internal data; however, the additional use of external summary data may lead to paradoxical results: efficiency loss may occur if the uncertainty of summary statistics is not negligible and large estimation bias can emerge even if the bias of external summary statistics is small. We investigate these paradoxical results in a semiparametric framework. We establish the semiparametric efficiency bound for estimating a general functional of the internal data distribution, which is shown to be no larger than that using only internal data. We propose a data-fused efficient estimator that achieves this bound so that the efficiency paradox is resolved. Besides, a debiased estimator is further proposed which has selection consistency property by employing adaptive lasso penalty so that the resultant estimator can achieve the same asymptotic distribution as the oracle one that uses only unbiased summary statistics, which resolves the bias paradox. Simulations and application to a Helicobacter pylori infection dataset are used to illustrate the proposed methods.


翻译:假设我们拥有来自内部研究的个体数据以及相关外部研究中各类汇总统计量。外部汇总统计量已被用作内部数据分布的约束条件,有望改进内部数据的统计推断;然而,额外使用外部汇总数据可能导致悖论性结果:当汇总统计量的不确定性不可忽略时可能产生效率损失,且即使外部汇总统计量的偏差很小,仍可能出现较大的估计偏差。我们在半参数框架下研究这些悖论性结果。我们建立了估计内部数据分布一般泛函的半参数效率界,证明该界限不大于仅使用内部数据时的效率界。我们提出一种数据融合的高效估计量,能够达到该界限,从而解决了效率悖论。此外,我们进一步提出一种去偏估计量,通过采用自适应套索惩罚具有选择一致性性质,使所得估计量能够达到与仅使用无偏汇总统计量的理想估计量相同的渐近分布,从而解决了偏差悖论。通过模拟实验和幽门螺杆菌感染数据集的应用,验证了所提出方法的有效性。

0
下载
关闭预览

相关内容

【2023新书】使用Python进行统计和数据可视化,554页pdf
专知会员服务
131+阅读 · 2023年1月29日
【干货书】工程和科学中的概率和统计,
专知会员服务
58+阅读 · 2022年12月24日
【干货书】概率,统计与数据,513页pdf
专知会员服务
142+阅读 · 2021年11月27日
【MIT干货课程】医疗健康领域的机器学习
专知
1+阅读 · 2022年5月26日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
8+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
5+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2023年5月19日
Arxiv
95+阅读 · 2022年8月2日
VIP会员
最新内容
刚刚!Jev中文教程项目发布了
专知会员服务
0+阅读 · 今天12:14
《人工智能赋能的适应性多功能电磁战》
专知会员服务
12+阅读 · 9月29日
俄乌战场实验室:全面战争如何重塑现代作战
专知会员服务
8+阅读 · 9月29日
2026年美空军协会会议上的无人机系统趋势
专知会员服务
11+阅读 · 9月28日
反制无人机:乌克兰提供的五点启示
专知会员服务
16+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
11+阅读 · 9月23日
相关VIP内容
【2023新书】使用Python进行统计和数据可视化,554页pdf
专知会员服务
131+阅读 · 2023年1月29日
【干货书】工程和科学中的概率和统计,
专知会员服务
58+阅读 · 2022年12月24日
【干货书】概率,统计与数据,513页pdf
专知会员服务
142+阅读 · 2021年11月27日
相关资讯
【MIT干货课程】医疗健康领域的机器学习
专知
1+阅读 · 2022年5月26日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
8+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
5+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员