We study full-reference image quality assessment from a machine-centric perspective, where images are evaluated by how well they preserve information for downstream models. We formulate machine-oriented quality as a latent machine utility and approximate it through pairwise predictive-consistency comparisons. To this end, we construct PCMP, a dataset of PSNR-matched distortion pairs labeled by consistency votes from multiple pretrained models. We further propose ML-CLIPSim, a differentiable quality metric built on a frozen CLIP visual encoder, which aggregates intermediate patch-token similarities and global image embeddings. Experiments on machine-preference benchmarks, human-IQA datasets, and learned image compression show that ML-CLIPSim better aligns with machine-oriented preferences than conventional fidelity and perceptual metrics, while remaining competitive for human quality prediction. Used as a compression distortion term, it improves rate--task trade-offs across multiple downstream tasks.


翻译:我们从机器中心视角研究全参考图像质量评估,即根据图像为下游模型保留信息的效果进行评价。我们将面向机器感知的质量形式化为潜在机器效用,并通过成对预测一致性比较进行近似。为此,我们构建了PCMP数据集,该数据集包含由多个预训练模型一致性投票标注的PSNR匹配失真图像对。我们进一步提出ML-CLIPSim——一种基于冻结CLIP视觉编码器的可微分质量指标,该指标聚合中间层补丁令牌相似度与全局图像嵌入。在机器偏好基准、人类IQA数据集及学习型图像压缩上的实验表明,与传统保真度指标和感知指标相比,ML-CLIPSim能更好对齐机器导向偏好,同时保持人类质量预测的竞争力。将其用作压缩失真项时,可改善多个下游任务的率-任务权衡。

0
下载
关闭预览

相关内容

专知会员服务
34+阅读 · 2021年9月29日
无参考图像质量评价研究进展
专知会员服务
31+阅读 · 2021年2月14日
一行命令搞定图像质量评价
计算机视觉life
12+阅读 · 2019年12月31日
深度学习应用在图像匹配的效果如何?
中国图象图形学报
10+阅读 · 2019年6月11日
图像美学质量评价技术发展趋势
科技导报
19+阅读 · 2018年6月25日
各种相似性度量及Python实现
机器学习算法与Python学习
11+阅读 · 2017年7月6日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
1+阅读 · 今天14:45
定向能反无人机系统最新发展动态
专知会员服务
5+阅读 · 今天13:50
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 今天13:33
相关资讯
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员