We consider estimation of a functional parameter of a realistically modeled data distribution based on observing independent and identically distributed observations. We define an $m$-th order Spline Highly Adaptive Lasso Minimum Loss Estimator (Spline HAL-MLE) of a functional parameter that is defined by minimizing the empirical risk function over an $m$-th order smoothness class of functions. We show that this $m$-th order smoothness class consists of all functions that can be represented as an infinitesimal linear combination of tensor products of $\leq m$-th order spline-basis functions, and involves assuming $m$-derivatives in each coordinate. By selecting $m$ with cross-validation we obtain a Spline-HAL-MLE that is able to adapt to the underlying unknown smoothness of the true function, while guaranteeing a rate of convergence faster than $n^{-1/4}$, as long as the true function is cadlag (right-continuous with left-hand limits) and has finite sectional variation norm. The $m=0$-smoothness class consists of all cadlag functions with finite sectional variation norm and corresponds with the original HAL-MLE defined in van der Laan (2015). In this article we establish that this Spline-HAL-MLE yields an asymptotically efficient estimator of any smooth feature of the functional parameter under an easily verifiable global undersmoothing condition. A sufficient condition for the latter condition is that the minimum of the empirical mean of the selected basis functions is smaller than a constant times $n^{-1/2}$, which is not parameter specific and enforces the selection of the $L_1$-norm in the lasso to be large enough to include sparsely supported basis. We demonstrate our general result for the $m=0$-HAL-MLE of the average treatment effect and of the integral of the square of the data density. We also present simulations for these two examples confirming the theory.


翻译:我们考虑根据独立和同样分布的观测,估算一个现实模型数据分布的功能参数。 我们定义了一个功能参数的美元顺序, 该功能参数的定义是:将实证风险功能在以美元顺序平滑性功能类别中的最低值最小化, 以观察独立和同样分布的观测为基础, 真实的模型数据分布的功能参数。 我们定义了一个功能参数的美元顺序: 高适应性高度激光最小值最小值最低值最低值最低值最低值最低值最高值最低值最低值最低值最低值最低值最低值最高值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值值值值值值最低值最低值值最低值最低值最低值值值值值值值值值值值值值, 最低值最低值最低值最低值最低值最低值值值最低值最低值值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值最低值

0
下载
关闭预览

相关内容

机器学习组合优化
专知会员服务
110+阅读 · 2021年2月16日
专知会员服务
17+阅读 · 2020年12月4日
因果图,Causal Graphs,52页ppt
专知会员服务
253+阅读 · 2020年4月19日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年9月2日
Arxiv
0+阅读 · 2021年9月1日
Arxiv
7+阅读 · 2020年6月29日
Arxiv
4+阅读 · 2018年3月14日
VIP会员
最新内容
大规模作战行动中的战术作战评估(研究论文)
专知会员服务
0+阅读 · 23分钟前
未来的海战无人自主系统
专知会员服务
0+阅读 · 39分钟前
美军多域作战现状分析:战略、概念还是幻想?
专知会员服务
0+阅读 · 52分钟前
无人机与反无人机系统(书籍)
专知会员服务
13+阅读 · 今天6:45
美陆军2026条令:安全与机动支援
专知会员服务
3+阅读 · 今天5:49
技术、多域威慑与海上战争(报告)
专知会员服务
8+阅读 · 4月13日
“在云端防御”:提升北约数据韧性(报告)
专知会员服务
5+阅读 · 4月13日
相关VIP内容
机器学习组合优化
专知会员服务
110+阅读 · 2021年2月16日
专知会员服务
17+阅读 · 2020年12月4日
因果图,Causal Graphs,52页ppt
专知会员服务
253+阅读 · 2020年4月19日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员