近年来,大量研究将多模态物品元数据集成到推荐系统中,通常采用预训练多模态基础模型(Multimodal Foundation Models)对这些数据进行编码。由于此类模型最初并非针对推荐任务设计,近期研究多通过参数高效微调(Parameter-Efficient Fine-Tuning, PEFT)对其进行高效适配。然而,即便采用了 PEFT,来自多模态基础模型的物品嵌入(Item Embeddings)依然存在“用户盲性”(User-blind):尽管拥有不同兴趣的用户会关注物品的不同维度,但物品嵌入并未根据用户兴趣进行条件化表征。 为了解决这一局限性,我们提出了 PerPEFT——一种用于多模态推荐的个性化 PEFT 策略。具体而言,PerPEFT 根据兴趣对用户进行分组,并为每个组分配独立的 PEFT 模块,使各模块能够捕捉到对该群体购买决策最具预测性的细粒度物品特征。此外,我们还引入了一种专门的训练技术,以强化这种基于用户分组的条件化关联。值得注意的是,PerPEFT 具有 PEFT 不可知性(PEFT-agnostic),可与任何适用于多模态基础模型的 PEFT 方法结合使用。 通过广泛的实验,我们证明了:(1) PerPEFT 在 NDCG@20 指标上优于最强基准模型高达 15.3%;(2) 该方法在多种 PEFT 变体中均能带来持续的性能提升。值得一提的是,即便实现了个性化,PerPEFT 依然保持了轻量化特性,其参数量仅占基础模型参数总数的 1.3%。我们在https://github.com/kswoo97/PerPEFT提供了代码和数据集。

成为VIP会员查看完整内容
4

相关内容

【博士论文】弥合多模态基础模型与世界模型之间的鸿沟
大语言模型在多模态推荐系统中的应用综述
专知会员服务
17+阅读 · 2025年5月17日
联邦学习中基础模型参数高效微调综述
专知会员服务
16+阅读 · 2025年5月5日
【SIGIR2025】在缺失模态场景中解耦与生成推荐模态
专知会员服务
7+阅读 · 2025年4月28日
《面向基础模型的高效参数微调》综述
专知会员服务
33+阅读 · 2025年1月24日
深度多模态数据融合
专知会员服务
55+阅读 · 2024年11月9日
【博士论文】高效且有效的基础大型多模态模型学习
专知会员服务
40+阅读 · 2024年10月21日
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
论文浅尝 - CIKM2020 | 用于推荐系统的多模态知识图谱
开放知识图谱
12+阅读 · 2020年12月17日
【基于元学习的推荐系统】5篇相关论文
专知
11+阅读 · 2020年1月20日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【博士论文】弥合多模态基础模型与世界模型之间的鸿沟
大语言模型在多模态推荐系统中的应用综述
专知会员服务
17+阅读 · 2025年5月17日
联邦学习中基础模型参数高效微调综述
专知会员服务
16+阅读 · 2025年5月5日
【SIGIR2025】在缺失模态场景中解耦与生成推荐模态
专知会员服务
7+阅读 · 2025年4月28日
《面向基础模型的高效参数微调》综述
专知会员服务
33+阅读 · 2025年1月24日
深度多模态数据融合
专知会员服务
55+阅读 · 2024年11月9日
【博士论文】高效且有效的基础大型多模态模型学习
专知会员服务
40+阅读 · 2024年10月21日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员