Random forests are widely used prediction procedures, yet are typically described algorithmically rather than as statistical designs acting on a fixed dataset. We develop a finite-sample, design-based formulation of random forests in which each tree is an explicit randomized conditional regression function. This perspective yields an exact variance identity for the forest predictor that separates finite-aggregation variability from a structural dependence term that persists even under infinite aggregation. We further decompose both single-tree dispersion and inter-tree covariance using the laws of total variance and covariance, isolating two fundamental design mechanisms-reuse of training observations and alignment of data-adaptive partitions. These mechanisms induce a strict covariance floor, demonstrating that predictive variability cannot be eliminated by increasing the number of trees alone. The resulting framework clarifies how resampling, feature-level randomization, and split selection govern resolution, tree variability, and dependence, and establishes random forests as explicit finite-sample statistical designs whose behavior is determined by their underlying randomized construction.


翻译:随机森林是广泛使用的预测方法,但通常被算法化描述,而非作为作用于固定数据集的统计设计。我们建立了随机森林的有限样本、基于设计的表述,其中每棵树都是一个显式的随机化条件回归函数。这一视角导出了森林预测器的精确方差恒等式,将有限聚合变异性与即使在无限聚合下仍持续存在的结构性依赖项分离开来。我们进一步利用全方差定律和全协方差定律分解了单棵树离散度与树间协方差,分离出两个基本设计机制——训练观测的重复使用和数据自适应划分的对齐。这些机制引发了一个严格的协方差下限,表明仅通过增加树的数量无法消除预测变异性。所得框架阐明了重抽样、特征级随机化和分裂选择如何控制分辨率、树变异性及依赖性,并将随机森林确立为明确的有限样本统计设计,其行为由其底层的随机化构造决定。

0
下载
关闭预览

相关内容

【2023新书】随机模型基础,815页pdf
专知会员服务
105+阅读 · 2023年5月10日
【干货书】面向工程师的随机过程,448页pdf
专知会员服务
80+阅读 · 2021年11月3日
【干货书】贝叶斯推断随机过程,449页pdf
专知会员服务
155+阅读 · 2020年8月27日
【干货书】贝叶斯推断随机过程,449页pdf
专知
30+阅读 · 2020年8月27日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
17+阅读 · 2019年1月24日
稀疏性的3个优势 -《稀疏统计学习及其应用》
遇见数学
15+阅读 · 2018年10月24日
统计学常用数据类型
论智
19+阅读 · 2018年7月6日
酒鬼漫步的数学——随机过程 | 张天蓉专栏
知识分子
10+阅读 · 2017年8月13日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月15日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员