Blind Image Quality Assessment, aiming to replicate human perception of visual quality without reference, plays a key role in vision tasks, yet existing models often fail to effectively capture subtle distortion cues, leading to a misalignment with human subjective judgments. We identify that the root cause of this limitation lies in the lack of reliable distortion priors, as methods typically learn shallow relationships between unified image features and quality scores, resulting in their insensitive nature to distortions and thus limiting their performance. To address this, we introduce DR.Experts, a novel prior-driven BIQA framework designed to explicitly incorporate distortion priors, enabling a reliable quality assessment. DR.Experts begins by leveraging a degradation-aware vision-language model to obtain distortion-specific priors, which are further refined and enhanced by the proposed Distortion-Saliency Differential Module through distinguishing them from semantic attentions, thereby ensuring the genuine representations of distortions. The refined priors, along with semantics and bridging representation, are then fused by a proposed mixture-of-experts style module named the Dynamic Distortion Weighting Module. This mechanism weights each distortion-specific feature as per its perceptual impact, ensuring that the final quality prediction aligns with human perception. Extensive experiments conducted on five challenging BIQA benchmarks demonstrate the superiority of DR.Experts over current methods and showcase its excellence in terms of generalization and data efficiency.


翻译:盲图像质量评估旨在无需参考图像的情况下复现人类对视觉质量的感知,在视觉任务中扮演关键角色。然而,现有模型往往无法有效捕捉细微的失真线索,导致其与人类主观判断之间存在偏差。我们发现这一局限的根本原因在于缺乏可靠的失真先验,因为现有方法通常仅学习统一图像特征与质量分数之间的浅层关联,导致其对失真不敏感,从而限制了性能。为解决这一问题,我们提出DR.Experts——一种新颖的先验驱动BIQA框架,其设计目标为显式引入失真先验以实现可靠的质量评估。DR.Experts首先利用退化感知的视觉-语言模型获取失真特异性先验,再通过提出的失真显著性差分模块将其与语义注意力进行区分,从而实现对先验的精细化增强,确保获得真实的失真表征。随后,精炼后的先验与语义特征及桥接表征通过提出的动态失真加权模块(一种专家混合风格模块)进行融合。该机制根据各失真特异性特征的感知影响进行加权,确保最终质量预测与人类感知保持一致。在五个具有挑战性的BIQA基准数据集上进行的大量实验表明,DR.Experts优于当前主流方法,并在泛化能力和数据效率方面展现出卓越性能。

0
下载
关闭预览

相关内容

图像去模糊研究综述
专知会员服务
21+阅读 · 2024年5月13日
专知会员服务
34+阅读 · 2021年9月29日
专知会员服务
18+阅读 · 2021年7月3日
无参考图像质量评价研究进展
专知会员服务
31+阅读 · 2021年2月14日
一行命令搞定图像质量评价
计算机视觉life
12+阅读 · 2019年12月31日
人脸专集5 | 最新的图像质量评价
计算机视觉战队
27+阅读 · 2019年4月13日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
无参考图像质量评价研究进展综述
人工智能前沿讲习班
47+阅读 · 2019年2月15日
图像美学质量评价技术发展趋势
科技导报
19+阅读 · 2018年6月25日
使用CNN生成图像先验实现场景的盲图像去模糊
统计学习与视觉计算组
10+阅读 · 2018年6月14日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
一行命令搞定图像质量评价
计算机视觉life
12+阅读 · 2019年12月31日
人脸专集5 | 最新的图像质量评价
计算机视觉战队
27+阅读 · 2019年4月13日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
无参考图像质量评价研究进展综述
人工智能前沿讲习班
47+阅读 · 2019年2月15日
图像美学质量评价技术发展趋势
科技导报
19+阅读 · 2018年6月25日
使用CNN生成图像先验实现场景的盲图像去模糊
统计学习与视觉计算组
10+阅读 · 2018年6月14日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员