Although the Gradient Boosted Decision Trees (GBDTs) dominate industrial tabular applications, upgrading legacy models in high-concurrency production environments still faces prohibitive retraining costs and systemic risks. To address this problem, we present NSR-Boost, a neuro-symbolic residual boosting framework designed specifically for industrial scenarios. Its core advantage lies in being "non-intrusive". It treats the legacy model as a frozen model and performs targeted repairs on "hard regions" where predictions fail. The framework comprises three key stages: first, finding hard regions through residuals, then generating interpretable experts by generating symbolic code structures using Large Language Model (LLM) and fine-tuning parameters using Bayesian optimization, and finally dynamically integrating experts with legacy model output through a lightweight aggregator. We report on the successful deployment of NSR-Boost within the core financial risk control system at Qfin Holdings. This framework not only significantly outperforms state-of-the-art (SOTA) baselines across six public datasets and one private dataset, more importantly, shows excellent performance gains on real-world online data. In conclusion, it effectively captures long-tail risks missed by traditional models and offers a safe, low-cost evolutionary paradigm for industry.


翻译:尽管梯度提升决策树(GBDTs)在工业表格应用中占据主导地位,但在高并发生产环境中升级遗留模型仍面临高昂的重新训练成本和系统性风险。为解决此问题,我们提出了NSR-Boost,一种专为工业场景设计的神经符号残差增强框架。其核心优势在于“非侵入性”:它将遗留模型视为冻结模型,并针对预测失败的“困难区域”进行针对性修复。该框架包含三个关键阶段:首先,通过残差定位困难区域;其次,利用大语言模型(LLM)生成符号代码结构,并通过贝叶斯优化微调参数,从而生成可解释的专家模型;最后,通过一个轻量级聚合器将专家模型与遗留模型的输出进行动态集成。我们报告了NSR-Boost在Qfin Holdings核心金融风控系统中的成功部署案例。该框架不仅在六个公共数据集和一个私有数据集上显著优于最先进的基线模型,更重要的是,在真实在线数据上展现出卓越的性能提升。总而言之,它有效捕捉了传统模型遗漏的长尾风险,为工业界提供了一种安全、低成本的模型演进范式。

0
下载
关闭预览

相关内容

【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
自定义损失函数Gradient Boosting
AI研习社
14+阅读 · 2018年10月16日
手把手教你构建ResNet残差网络
专知
38+阅读 · 2018年4月27日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员