Personalized image aesthetics assessment (PIAA) aims to predict an individual user's subjective rating of an image, which requires modeling user-specific aesthetic preferences. Existing methods rely on historical user ratings for this modeling and therefore struggle when such data are unavailable. We address this zero-shot setting by using user profiles as contextual signals for personalization and adopting a profile-based personalization paradigm. We introduce P-MLLM, a profile-aware multimodal LLM that augments a frozen LLM with selective fusion modules for controlled visual integration. These modules selectively integrate visual information into the model's evolving hidden states during profile-conditioned reasoning, allowing visual information to be incorporated in a profile-aware manner. Experiments on recent PIAA benchmarks show that P-MLLM achieves competitive zero-shot performance and remains effective even with coarse profile information, highlighting the potential of profile-based personalization for zero-shot PIAA.


翻译:个性化图像美学评估(PIAA)旨在预测个体用户对图像的主观评分,这需要建模用户特定的审美偏好。现有方法依赖用户历史评分数据进行建模,因此在缺乏此类数据时表现不佳。针对这一零样本设定,我们采用用户画像作为个性化上下文信号,并提出基于画像的个性化范式。我们引入P-MLLM——一种画像感知的多模态大语言模型,该模型通过选择性融合模块增强固定参数的LLM,实现可控的视觉信息整合。这些模块在基于画像的推理过程中,将视觉信息选择性地融入模型动态变化的隐状态,实现画像感知的视觉信息融合。在最新PIAA基准上的实验表明,P-MLLM在零样本场景下取得具有竞争力的性能,即便使用粗粒度画像信息仍保持有效性,突显了基于画像的个性化范式在零样本PIAA任务中的潜力。

0
下载
关闭预览

相关内容

大模型时代的个性化生成:综述
专知会员服务
43+阅读 · 2025年3月10日
基于深度生成模型的个性化图像生成:十年综述
专知会员服务
19+阅读 · 2025年2月19日
大规模语言模型的个性化:综述
专知会员服务
43+阅读 · 2024年11月4日
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
数据中台:基于标签体系的360°用户画像
THU数据派
13+阅读 · 2020年7月25日
专家报告 | 个性化图像美学评价
中国图象图形学报
14+阅读 · 2020年7月15日
用户画像技术及方法论
DataFunTalk
13+阅读 · 2020年5月27日
一行命令搞定图像质量评价
计算机视觉life
12+阅读 · 2019年12月31日
用户研究:如何做用户画像分析
产品100干货速递
46+阅读 · 2019年5月9日
图像美学质量评价技术发展趋势
科技导报
19+阅读 · 2018年6月25日
【大数据】如何用大数据构建精准用户画像?
产业智能官
12+阅读 · 2017年9月21日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
3+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
5+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关资讯
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
数据中台:基于标签体系的360°用户画像
THU数据派
13+阅读 · 2020年7月25日
专家报告 | 个性化图像美学评价
中国图象图形学报
14+阅读 · 2020年7月15日
用户画像技术及方法论
DataFunTalk
13+阅读 · 2020年5月27日
一行命令搞定图像质量评价
计算机视觉life
12+阅读 · 2019年12月31日
用户研究:如何做用户画像分析
产品100干货速递
46+阅读 · 2019年5月9日
图像美学质量评价技术发展趋势
科技导报
19+阅读 · 2018年6月25日
【大数据】如何用大数据构建精准用户画像?
产业智能官
12+阅读 · 2017年9月21日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员