Accurately predicting individual aesthetic evaluation for images is a fundamental challenge for AI. Various deep learning (DL)-based models have been proposed for this task, training on image evaluation data to extract objective low-level features. However, aesthetic preferences are inherently subjective and individual-dependent. Accurate prediction thus requires the extraction of high-level semantic features of images and the active collection of preference information from the target individual. To address this issue, we focus on the utility of Large Language Models (LLMs) pretrained on vast amounts of textual data, and develop an integrated DL-LLM system. The system actively elicits aesthetic preferences through LLM-based semi-structured interviews and predicts aesthetic evaluation by leveraging both low-level and high-level features. In our experiments, we compare the proposed system against conventional systems, human predictors, and the target individual's own re-evaluations after a certain time interval. Our results show that the proposed system outperforms all of them, with particularly strong performance on highly-rated images. Moreover, the prediction error of the proposed system is smaller than within-person variability, while human predictors show the largest error, likely due to the influence of their own aesthetic values. These results suggest that AI may be better positioned than others or one's future self to capture individual aesthetic preferences at a given point. This opens a new question of whether AI could serve as a deeper interpreter of human aesthetic sensibility than humans themselves.


翻译:精准预测个体对图像的美学评价是人工智能面临的基础挑战。为此,已提出多种基于深度学习的模型,通过训练图像评估数据提取客观低层特征。然而,审美偏好本质上是主观且因人而异的,准确预测需要提取图像的高层语义特征,并主动收集目标个体的偏好信息。针对这一问题,我们聚焦于在大规模文本数据上预训练的大语言模型的应用,开发了一种集成的深度学习-大语言模型系统。该系统通过基于大语言模型的半结构化访谈主动获取审美偏好,并融合低层与高层特征预测美学评价。实验中,我们将所提系统与传统系统、人类预测者及目标个体经过一段时间间隔后的自我重评进行比较。结果表明,所提系统在所有对比中表现最优,尤其在评价较高的图像上优势显著。此外,所提系统的预测误差小于个体自身变异,而人类预测者误差最大,这可能源于其自身审美价值观的影响。这些结果表明,AI可能比他人或个体未来的自我更能准确捕捉特定时间点的审美偏好。这提出了一个新问题:AI是否能够比人类自身更深入地解读人类审美感受力。

0
下载
关闭预览

相关内容

专家报告 | 个性化图像美学评价
中国图象图形学报
14+阅读 · 2020年7月15日
深度学习应用在图像匹配的效果如何?
中国图象图形学报
10+阅读 · 2019年6月11日
深度学习人体姿态估计算法综述
AI前线
25+阅读 · 2019年5月19日
图像美学质量评价技术发展趋势
科技导报
19+阅读 · 2018年6月25日
Deep Image Prior:深度卷积网络先天就理解自然图像
极市平台
10+阅读 · 2017年12月5日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
4+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
4+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
相关资讯
专家报告 | 个性化图像美学评价
中国图象图形学报
14+阅读 · 2020年7月15日
深度学习应用在图像匹配的效果如何?
中国图象图形学报
10+阅读 · 2019年6月11日
深度学习人体姿态估计算法综述
AI前线
25+阅读 · 2019年5月19日
图像美学质量评价技术发展趋势
科技导报
19+阅读 · 2018年6月25日
Deep Image Prior:深度卷积网络先天就理解自然图像
极市平台
10+阅读 · 2017年12月5日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员