User behavior sequence modeling has become a central component in modern click-through rate (CTR) prediction. Over the past years, the community has invested substantial effort into improving how sequences are encoded, from target-aware attention and interest evolution networks to unified architectures that jointly process sequential and non-sequential features. However, a more fundamental question remains under-explored: what should constitute the behavior sequence? Current practice constructs sequences exclusively from positive interactions (clicks, purchases, completions), while the far more abundant implicit negative behaviors (skips, low engagement, scroll-past) are largely underutilized. As gains from longer positive sequences approach diminishing returns, we revisit this underutilized data source within the sequential modeling framework. In this paper, we demonstrate that mixed-polarity behavior sequences, which chronologically interleave positive and negative tokens within a fixed length budget, consistently outperform positive-only sequences across diverse model architectures with negligible additional computational overhead. We further identify a semantic indistinguishability problem inherent to naive polarity embeddings and propose Target-Aware Polarity Fusion (TAPF), a lightweight target-conditioned gating mechanism that provides additional gains by differentiating behavioral evidence. Notably, even the simpler polarity bias baseline captures the majority of improvement, underscoring that the primary contribution is the mixed-polarity data paradigm itself. Experiments on three public benchmarks demonstrate consistent improvements of +1.9% to +9.6% relative AUC across five architectures, which validate the practical value of our approach.


翻译:用户行为序列建模已成为现代点击率(CTR)预测的核心组成部分。近年来,研究界在改进序列编码方式上投入了大量精力,从目标感知注意力机制和兴趣演化网络,到联合处理序列与非序列特征的统一架构。然而,一个更根本的问题仍未被充分探索:行为序列应包含哪些内容?当前实践仅从正向交互(点击、购买、完成)构建序列,而数量远更丰富的隐性负向行为(跳过、低参与度、滚动掠过)基本未被利用。随着长正向序列的增益趋于收益递减,我们重新审视序列建模框架中这一未充分挖掘的数据源。本文证明,在固定长度预算内按时间顺序交错排列正向与负向标记的混合极性行为序列,能在不同模型架构中持续优于仅含正向标记的序列,且额外计算开销可忽略不计。我们进一步揭示了朴素极性嵌入中固有的语义不可区分性问题,并提出了目标感知极性融合(TAPF)——一种轻量级目标条件门控机制,通过区分行为证据提供额外增益。值得注意的是,即使更简单的极性偏置基线也能捕获大部分改进,这突显了主要贡献在于混合极性数据范式本身。在三个公开基准上的实验表明,五种架构的相对AUC值持续提升1.9%至9.6%,验证了该方法的实用价值。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
【KDD2022】多行为超图增强Transformer的序列推荐
专知会员服务
29+阅读 · 2022年7月14日
【WSDM2021】多交互注意力网络细粒度特征学习的CTR预测
专知会员服务
25+阅读 · 2020年12月27日
初学者系列:Deep FM详解
专知
110+阅读 · 2019年8月26日
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
76+阅读 · 2018年10月8日
深度学习在CTR预估中的应用 | CTR深度模型大盘点
PaperWeekly
15+阅读 · 2018年4月11日
[推荐] 这些年,我用过的点击率(CTR)预估模型!!!
菜鸟的机器学习
28+阅读 · 2017年7月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
非对称防御中的自组织临界性:俄乌战争
专知会员服务
1+阅读 · 今天14:36
《战争中的大语言模型监管》
专知会员服务
2+阅读 · 今天14:26
边缘计算的军事应用
专知会员服务
8+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
9+阅读 · 8月8日
相关基金
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员