Regression trees and their ensemble methods are popular methods for non-parametric regression: they combine strong predictive performance with interpretable estimators. In order to improve their utility for locally smooth response surfaces, we study regression trees and random forests with linear aggregation functions. We introduce a new algorithm that finds the best axis-aligned split to fit linear aggregation functions on the corresponding nodes, and we offer a quasilinear time implementation. We apply the algorithm to several simulated and real-world data sets. We showcase its favorable performance in an extensive simulation study, and demonstrate its improved interpretability using a large get-out-the-vote randomized controlled trial. We also provide a software package that implements several tree-based estimators with linear aggregation functions and includes tools for inference.


翻译:回归树及其组合方法是非参数回归的常用方法:它们将强的预测性能与可解释的估测器结合起来。为了提高它们对于当地平稳反应表面的实用性,我们研究回归树和随机森林,并使用线性聚合功能。我们引入了一种新的算法,找到最佳轴齐分法,在相应的节点上设置线性汇总功能,我们提供准线性时间执行。我们将算法应用于若干模拟和真实世界数据集。我们在广泛的模拟研究中展示其有利的性能,并使用大规模脱机随机控制的试验来展示其改进的可解释性。我们还提供了一套软件,用线性集合功能执行数个基于树的估量器,并包括推断工具。

0
下载
关闭预览

相关内容

专知会员服务
52+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
专知会员服务
55+阅读 · 2020年9月7日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
因果图,Causal Graphs,52页ppt
专知会员服务
254+阅读 · 2020年4月19日
专知会员服务
162+阅读 · 2020年1月16日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
RL 真经
CreateAMind
6+阅读 · 2018年12月28日
已删除
将门创投
12+阅读 · 2017年10月13日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
Arxiv
0+阅读 · 2021年3月11日
Arxiv
0+阅读 · 2021年3月10日
Sparse Tensor Additive Regression
Arxiv
0+阅读 · 2021年3月5日
Principal Neighbourhood Aggregation for Graph Nets
Arxiv
17+阅读 · 2020年6月7日
Adaptive Neural Trees
Arxiv
4+阅读 · 2018年12月10日
VIP会员
最新内容
超越网格:作战环境对炮兵的影响
专知会员服务
1+阅读 · 今天15:35
KDD 2026 | MixRAGRec:面向LLM推荐的混合专家KG-RAG框架
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
4+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
14+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
8+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
相关VIP内容
专知会员服务
52+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
专知会员服务
55+阅读 · 2020年9月7日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
因果图,Causal Graphs,52页ppt
专知会员服务
254+阅读 · 2020年4月19日
专知会员服务
162+阅读 · 2020年1月16日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
相关资讯
RL 真经
CreateAMind
6+阅读 · 2018年12月28日
已删除
将门创投
12+阅读 · 2017年10月13日
【推荐】决策树/随机森林深入解析
机器学习研究会
5+阅读 · 2017年9月21日
Top
微信扫码咨询专知VIP会员