Modeling high-order feature interactions efficiently is a central challenge in click-through rate and conversion rate prediction. Modern industrial recommender systems are predominantly built upon deep learning recommendation models, where the interaction backbone plays a critical role in determining both predictive performance and system efficiency. However, existing interaction modules often struggle to simultaneously achieve strong interaction capacity, high computational efficiency, and good scalability, resulting in limited ROI when models are scaled under strict production constraints. In this work, we propose MLCC, a structured feature interaction architecture that organizes feature crosses through hierarchical compression and dynamic composition, which can efficiently capture high-order feature dependencies while maintaining favorable computational complexity. We further introduce MC-MLCC, a Multi-Channel extension that decomposes feature interactions into parallel subspaces, enabling efficient horizontal scaling with improved representation capacity and significantly reduced parameter growth. Extensive experiments on three public benchmarks and a large-scale industrial dataset show that our proposed models consistently outperform strong DLRM-style baselines by up to 0.52 AUC, while reducing model parameters and FLOPs by up to 26$\times$ under comparable performance. Comprehensive scaling analyses demonstrate stable and predictable scaling behavior across embedding dimension, head number, and channel count, with channel-based scaling achieving substantially better efficiency than conventional embedding inflation. Finally, online A/B testing on a real-world advertising platform validates the practical effectiveness of our approach, which has been widely adopted in Bilibili advertising system under strict latency and resource constraints.


翻译:高效建模高阶特征交互是点击率和转化率预测的核心挑战。现代工业推荐系统主要基于深度学习推荐模型构建,其中交互骨干网络对预测性能和系统效率均起着决定性作用。然而,现有交互模块往往难以同时实现强大的交互能力、高计算效率和良好的可扩展性,导致在严格的生产约束下扩展模型时投资回报率有限。本文提出MLCC,一种通过分层压缩和动态组合来组织特征交叉的结构化特征交互架构,该架构能够在保持良好计算复杂度的同时高效捕获高阶特征依赖关系。我们进一步提出MC-MLCC,一种多通道扩展方案,将特征交互分解到并行子空间中,实现高效的横向扩展,在提升表征能力的同时显著降低参数增长。在三个公开基准数据集和一个大规模工业数据集上的大量实验表明,我们提出的模型在可比性能下,以最高26倍的参数和FLOPs缩减,持续超越强DLRM风格基线模型达0.52 AUC。全面的扩展分析展示了模型在嵌入维度、头数和通道数维度上稳定且可预测的扩展行为,其中基于通道的扩展相比传统嵌入膨胀方法实现了显著更优的效率。最后,在真实广告平台上的在线A/B测试验证了我们方法的实际有效性,该方法已在Bilibili广告系统中严格延迟和资源约束下得到广泛部署。

0
下载
关闭预览

相关内容

多模态推荐系统综述:近期进展与未来方向
专知会员服务
37+阅读 · 2025年2月27日
推荐系统中的扩散模型:综述
专知会员服务
21+阅读 · 2025年1月22日
南洋理工大学,深度学习推荐系统综述
专知会员服务
177+阅读 · 2019年10月14日
推荐系统产品与算法概述 | 深度
AI100
11+阅读 · 2019年6月13日
新书推荐《推荐系统进展:方法与技术》
LibRec智能推荐
13+阅读 · 2019年3月18日
推荐系统
炼数成金订阅号
28+阅读 · 2019年1月17日
深度学习在推荐系统中的应用综述(最全)
七月在线实验室
17+阅读 · 2018年5月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关VIP内容
多模态推荐系统综述:近期进展与未来方向
专知会员服务
37+阅读 · 2025年2月27日
推荐系统中的扩散模型:综述
专知会员服务
21+阅读 · 2025年1月22日
南洋理工大学,深度学习推荐系统综述
专知会员服务
177+阅读 · 2019年10月14日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员