Online news platforms often use personalized news recommendation methods to help users discover articles that align with their interests. These methods typically predict a matching score between a user and a candidate article to reflect the user's preference for the article. Some previous works have used language model techniques, such as the attention mechanism, to capture users' interests based on their past behaviors, and to understand the content of articles. However, these existing model architectures require adjustments if additional information is taken into account. Pre-trained large language models, which can better capture word relationships and comprehend contexts, have seen a significant development in recent years, and these pre-trained models have the advantages of transfer learning and reducing the training time for downstream tasks. Meanwhile, prompt learning is a newly developed technique that leverages pre-trained language models by building task-specific guidance for output generations. To leverage textual information in news articles, this paper introduces the pre-trained large language model and prompt-learning to the community of news recommendation. The proposed model "prompt-based news recommendation" (PBNR) treats the personalized news recommendation as a text-to-text language task and designs personalized prompts to adapt to the pre-trained language model -- text-to-text transfer transformer (T5). Experimental studies using the Microsoft News dataset show that PBNR is capable of making accurate recommendations by taking into account various lengths of past behaviors of different users. PBNR can also easily adapt to new information without changing the model architecture and the training objective. Additionally, PBNR can make recommendations based on users' specific requirements, allowing human-computer interaction in the news recommendation field.


翻译:在线新闻平台常使用个性化新闻推荐方法帮助用户发现符合其兴趣的文章。这些方法通常预测用户与候选文章之间的匹配分数,以反映用户对文章的偏好。以往一些研究采用语言模型技术(如注意力机制)基于用户历史行为捕捉其兴趣,并理解文章内容。然而,现有模型架构在纳入额外信息时需进行调整。近年来,预训练大语言模型取得显著发展,这类模型能更好捕捉词语间关系并理解上下文,具备迁移学习优势,可减少下游任务的训练时间。与此同时,提示学习作为新兴技术,通过构建任务特定指导来利用预训练语言模型生成输出。为利用新闻文章中的文本信息,本文首次将预训练大语言模型与提示学习引入新闻推荐领域。所提出的"基于提示的新闻推荐"(PBNR)模型将个性化新闻推荐视为文本到文本的语言任务,并设计个性化提示以适应预训练语言模型——文本到文本迁移变换器(T5)。基于微软新闻数据集的实验表明,PBNR能充分考虑不同用户历史行为的长度差异,做出准确推荐。该模型无需改变架构与训练目标即可轻松适应新信息。此外,PBNR能依据用户特定需求进行推荐,实现了新闻推荐领域的人机交互。

0
下载
关闭预览

相关内容

基于预训练语言模型的文本生成
专知会员服务
29+阅读 · 2022年1月28日
专知会员服务
88+阅读 · 2020年1月20日
CIKM 2022 | 基于动态搜索流的个性化搜索提示建模
PaperWeekly
0+阅读 · 2022年10月15日
NeurlPS2022推荐系统论文集锦
机器学习与推荐算法
1+阅读 · 2022年9月26日
SIGIR2022 | 基于Prompt的用户自选公平性推荐算法
机器学习与推荐算法
1+阅读 · 2022年5月25日
IJCAI2022推荐系统论文集锦
机器学习与推荐算法
0+阅读 · 2022年5月20日
【推荐】免费书(草稿):数据科学的数学基础
机器学习研究会
20+阅读 · 2017年10月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
176+阅读 · 2023年4月20日
Arxiv
15+阅读 · 2021年6月27日
Arxiv
23+阅读 · 2018年8月3日
Arxiv
14+阅读 · 2018年4月18日
VIP会员
最新内容
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
0+阅读 · 30分钟前
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
3+阅读 · 今天14:04
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
6+阅读 · 今天13:49
基于声学的无人机检测技术综述
专知会员服务
5+阅读 · 今天13:37
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
5+阅读 · 今天13:11
战略前沿人工智能的再思考(中文)
专知会员服务
7+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
5+阅读 · 5月29日
相关VIP内容
基于预训练语言模型的文本生成
专知会员服务
29+阅读 · 2022年1月28日
专知会员服务
88+阅读 · 2020年1月20日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员