Feature interaction is a core ingredient in ranking models for large-scale recommender systems, yet making it both expressive and efficiently scalable remains challenging. Exhaustive pairwise interaction is powerful but incurs quadratic complexity in the number of tokens/features, while many efficient alternatives rely on restrictive structures that limit information exchange. We further identify two common bottlenecks in practice: (1) early aggregation of behavior sequences compresses fine-grained signals, making it difficult for deeper layers to reuse item-level details; and (2) late fusion injects task signals only at the end, preventing task objectives from directly guiding the interaction process. To address these issues, we propose the Information Flow Network (INFNet), a lightweight architecture that enables scalable, task-aware feature interaction with linear complexity. INFNet represents categorical features, behavior sequences, and task identifiers as tokens, and introduces a small set of hub tokens for each group to serve as communication hubs. Interaction is realized through an efficient aggregate-and-broadcast information flow: hub tokens aggregate global context across groups via cross-attention, and a lightweight gated broadcast unit injects the refined context back to update the categorical, sequence, and task tokens. This design supports width-preserving stacking that preserves item-level signals in sequence and enables task-guided interaction throughout the network, while reducing interaction cost from quadratic to linear in the number of feature tokens. Experiments on a public benchmark and a large-scale industrial dataset demonstrate that INFNet consistently outperforms strong baselines and exhibits strong scaling behavior. In a commercial online advertising system, deploying INFNet improves revenue by +1.587% and click-through rate by +1.155%.


翻译:特征交互是大规模推荐系统排序模型的核心组成部分,然而使其既具表达力又高效可扩展仍具挑战性。详尽的成对交互功能强大,但会导致标记/特征数量的二次复杂度,而许多高效替代方案依赖于限制信息交换的约束性结构。我们进一步识别了实践中的两个常见瓶颈:(1) 行为序列的早期聚合会压缩细粒度信号,使得深层网络难以复用项目级细节;(2) 晚期融合仅在末端注入任务信号,阻碍了任务目标直接指导交互过程。为解决这些问题,我们提出信息流网络(INFNet),这是一种轻量级架构,能够以线性复杂度实现可扩展、任务感知的特征交互。INFNet将分类特征、行为序列和任务标识符表示为标记,并为每个组引入少量枢纽标记作为通信枢纽。交互通过高效的聚合-广播信息流实现:枢纽标记通过交叉注意力聚合跨组全局上下文,轻量级门控广播单元则将精炼后的上下文注入回分类、序列和任务标记以进行更新。该设计支持保持宽度的堆叠结构,既能在序列中保留项目级信号,又能实现贯穿网络的、任务引导的交互,同时将特征标记数量的交互成本从二次降至线性。在公开基准和大规模工业数据集上的实验表明,INFNet始终优于强基线模型,并展现出优异的扩展性能。在商业在线广告系统中部署INFNet使收入提升+1.587%,点击率提升+1.155%。

0
下载
关闭预览

相关内容

推荐系统中的扩散模型:综述
专知会员服务
21+阅读 · 2025年1月22日
大规模语言模型增强推荐系统:分类、趋势、应用与未来
专知会员服务
40+阅读 · 2024年12月22日
自动特征工程在推荐系统中的研究
DataFunTalk
10+阅读 · 2019年12月20日
推荐系统产品与算法概述 | 深度
AI100
11+阅读 · 2019年6月13日
深度学习在推荐系统中的应用综述(最全)
七月在线实验室
17+阅读 · 2018年5月5日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
推荐系统中的扩散模型:综述
专知会员服务
21+阅读 · 2025年1月22日
大规模语言模型增强推荐系统:分类、趋势、应用与未来
专知会员服务
40+阅读 · 2024年12月22日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员