Neural networks have become a popular tool in predictive modelling, more commonly associated with machine learning and artificial intelligence than with statistics. Generalised Additive Models (GAMs) are flexible non-linear statistical models that retain interpretability. Both are state-of-the-art in their own right, with their respective advantages and disadvantages. This paper analyses how these two model classes have performed on real-world tabular data. Following PRISMA guidelines, we conducted a systematic review of papers that performed empirical comparisons of GAMs and neural networks. Eligible papers were identified, yielding 143 papers, with 430 datasets. Key attributes at both paper and dataset levels were extracted and reported. Beyond summarising comparisons, we analyse reported performance metrics using mixed-effects modelling to investigate potential characteristics that can explain and quantify observed differences, including application area, study year, sample size, number of predictors, and neural network complexity. Across datasets, no consistent evidence of superiority was found for either GAMs or neural networks when considering the most frequently reported metrics (RMSE, $R^2$, and AUC). Neural networks tended to outperform in larger datasets and in those with more predictors, but this advantage narrowed over time. Conversely, GAMs remained competitive, particularly in smaller data settings, while retaining interpretability. Reporting of dataset characteristics and neural network complexity was incomplete in much of the literature, limiting transparency and reproducibility. This review highlights that GAMs and neural networks should be viewed as complementary approaches rather than competitors. For many tabular applications, the performance trade-off is modest, and interpretability may favour GAMs.


翻译:神经网络已成为预测建模中的流行工具,通常更多地与机器学习和人工智能相关联,而非统计学。广义加性模型(GAMs)是灵活的非线性统计模型,同时保持了可解释性。这两类模型各自代表了其领域内的先进技术,并具有各自的优势与局限。本文分析了这两类模型在现实世界表格数据上的表现。遵循PRISMA指南,我们对进行了GAMs与神经网络实证比较的文献进行了系统性综述。通过筛选确定了符合条件的文献,共纳入143篇论文,涉及430个数据集。我们提取并报告了论文层面和数据集层面的关键属性。除了总结比较结果外,我们还使用混合效应模型分析了报告的性能指标,以探究可能解释和量化观察到的差异的潜在特征,包括应用领域、研究年份、样本量、预测变量数量以及神经网络复杂度。在所有数据集中,当考虑最常报告的指标(RMSE、$R^2$和AUC)时,未发现GAMs或神经网络存在一致性的优越证据。神经网络在较大数据集和具有更多预测变量的数据集中往往表现更优,但这种优势随时间推移而减弱。相反,GAMs始终保持竞争力,尤其是在较小数据量的场景中,同时保持了可解释性。大量文献中对数据集特征和神经网络复杂度的报告不完整,限制了透明度和可重复性。本综述强调,应将GAMs和神经网络视为互补的方法而非竞争对手。对于许多表格数据应用,其性能差异并不显著,而可解释性可能更倾向于支持GAMs。

0
下载
关闭预览

相关内容

数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
Data set(或dataset)是一个数据的集合,通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量,如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数,该数据集的数据可能包括一个或多个成员。
博弈论与大语言模型的结合:系统性综述
专知会员服务
60+阅读 · 2025年2月14日
LLM4SR:关于大规模语言模型在科学研究中的应用综述
专知会员服务
42+阅读 · 2025年1月9日
【MIT-Stefanie Jegelka】图神经网络理论:表示与学习
专知会员服务
44+阅读 · 2022年5月21日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关VIP内容
博弈论与大语言模型的结合:系统性综述
专知会员服务
60+阅读 · 2025年2月14日
LLM4SR:关于大规模语言模型在科学研究中的应用综述
专知会员服务
42+阅读 · 2025年1月9日
【MIT-Stefanie Jegelka】图神经网络理论:表示与学习
专知会员服务
44+阅读 · 2022年5月21日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员