Federated sequential recommendation (FedSeqRec) aims to perform next-item prediction while keeping user data decentralised, yet model quality is frequently constrained by fragmented, noisy, and homogeneous interaction logs stored on individual devices. Many existing approaches attempt to compensate through manual data augmentation or additional server-side constraints, but these strategies either introduce limited semantic diversity or increase system overhead. To overcome these challenges, we propose \textbf{LUMOS}, a parameter-isolated FedSeqRec architecture that integrates large language models (LLMs) as \emph{local semantic generators}. Instead of sharing gradients or auxiliary parameters, LUMOS privately invokes an on-device LLM to construct three complementary sequence variants from each user history: (i) \emph{future-oriented} trajectories that infer plausible behavioural continuations, (ii) \emph{semantically equivalent rephrasings} that retain user intent while diversifying interaction patterns, and (iii) \emph{preference-inconsistent counterfactuals} that serve as informative negatives. These synthesized sequences are jointly encoded within the federated backbone through a tri-view contrastive optimisation scheme, enabling richer representation learning without exposing sensitive information. Experimental results across three public benchmarks show that LUMOS achieves consistent gains over competitive centralised and federated baselines on HR@20 and NDCG@20. In addition, the use of semantically grounded positive signals and counterfactual negatives improves robustness under noisy and adversarial environments, even without dedicated server-side protection modules. Overall, this work demonstrates the potential of LLM-driven semantic generation as a new paradigm for advancing privacy-preserving federated recommendation.


翻译:联邦序列推荐(FedSeqRec)旨在执行下一项预测的同时保持用户数据去中心化,但模型质量常受限于存储在单个设备上的碎片化、噪声化且同质化的交互日志。许多现有方法试图通过手动数据增强或额外的服务器端约束来弥补,但这些策略要么引入有限的语义多样性,要么增加系统开销。为克服这些挑战,我们提出 **LUMOS**,一种参数隔离的联邦序列推荐架构,其将大型语言模型(LLMs)集成为**本地语义生成器**。LUMOS 不共享梯度或辅助参数,而是私有地调用设备端 LLM,从每个用户历史中构建三种互补的序列变体:(i)推断合理行为延续的**面向未来**轨迹,(ii)保留用户意图同时多样化交互模式的**语义等价重述**,以及(iii)作为信息丰富负例的**偏好不一致反事实**。这些合成序列通过三视图对比优化方案在联邦骨干网络内联合编码,从而在不暴露敏感信息的情况下实现更丰富的表示学习。在三个公共基准测试上的实验结果表明,LUMOS 在 HR@20 和 NDCG@20 指标上相比有竞争力的集中式和联邦式基线模型取得了一致的性能提升。此外,使用基于语义的正信号和反事实负例提高了在噪声和对抗性环境下的鲁棒性,即使没有专用的服务器端保护模块。总体而言,这项工作展示了 LLM 驱动的语义生成作为推进隐私保护联邦推荐新范式的潜力。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
【WWW2025】释放大型语言模型在去噪推荐中的强大能力
专知会员服务
13+阅读 · 2025年2月18日
大语言模型在序列推荐中的应用
专知会员服务
19+阅读 · 2024年11月12日
【IJCAI2024教程】大语言模型(LLMs)时代的推荐系统
专知会员服务
51+阅读 · 2024年8月5日
【KDD2023】学习语言表示用于序列推荐
专知会员服务
11+阅读 · 2023年5月27日
【资源】联邦学习相关文献资源大列表
专知
10+阅读 · 2020年2月25日
推荐算法:Match与Rank模型的交织配合
从0到1
15+阅读 · 2017年12月18日
推荐中的序列化建模:Session-based neural recommendation
机器学习研究会
18+阅读 · 2017年11月5日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员