Super-resolution (SR) applied to real-world low-resolution (LR) images often results in complex, irregular degradations that stem from the inherent complexity of natural scene acquisition. In contrast to SR artifacts arising from synthetic LR images created under well-defined scenarios, those distortions are highly unpredictable and vary significantly across different real-life contexts. Consequently, assessing the quality of SR images (SR-IQA) obtained from realistic LR, remains a challenging and underexplored problem. In this work, we introduce a no-reference SR-IQA approach tailored for such highly ill-posed realistic settings. The proposed method enables domain-adaptive IQA for real-world SR applications, particularly in data-scarce domains. We hypothesize that degradations in super-resolved images are strongly dependent on the underlying SR algorithms, rather than being solely determined by image content. To this end, we introduce a self-supervised learning (SSL) strategy that first pretrains multiple SR model oriented representations in a pretext stage. Our contrastive learning framework forms positive pairs from images produced by the same SR model and negative pairs from those generated by different methods, independent of image content. The proposed approach S3 RIQA, further incorporates targeted preprocessing to extract complementary quality information and an auxiliary task to better handle the various degradation profiles associated with different SR scaling factors. To this end, we constructed a new dataset, SRMORSS, to support unsupervised pretext training; it includes a wide range of SR algorithms applied to numerous real LR images, which addresses a gap in existing datasets. Experiments on real SR-IQA benchmarks demonstrate that S3 RIQA consistently outperforms most state-of-the-art relevant metrics.


翻译:应用于真实世界低分辨率图像的超分辨率技术常因自然场景采集的固有复杂性而产生复杂且不规则的退化现象。与在明确定义场景下生成的合成低分辨率图像所产生的超分辨率伪影不同,这些失真具有高度不可预测性,且在不同现实场景中差异显著。因此,评估从真实低分辨率图像获得的超分辨率图像质量仍是一个具有挑战性且尚未充分探索的问题。本研究针对此类高度不适定的现实场景,提出了一种无参考的超分辨率图像质量评估方法。该方法能够为真实世界的超分辨率应用(特别是在数据稀缺领域)实现领域自适应的质量评估。我们假设超分辨率图像中的退化现象主要取决于底层超分辨率算法,而非仅由图像内容决定。为此,我们引入了一种自监督学习策略,该策略首先在预训练阶段对多个超分辨率模型导向的表示进行预训练。我们的对比学习框架从同一超分辨率模型生成的图像中构建正样本对,而从不同方法生成的图像中构建负样本对,这一过程独立于图像内容。所提出的S3 RIQA方法进一步整合了针对性预处理以提取互补的质量信息,并通过辅助任务更好地处理与不同超分辨率缩放因子相关的多样化退化特征。为此,我们构建了新的数据集SRMORSS以支持无监督预训练;该数据集包含应用于大量真实低分辨率图像的多种超分辨率算法,弥补了现有数据集的不足。在真实超分辨率图像质量评估基准上的实验表明,S3 RIQA在多数情况下优于当前最先进的相关评估指标。

0
下载
关闭预览

相关内容

图像去模糊研究综述
专知会员服务
21+阅读 · 2024年5月13日
Transformer 驱动的图像分类研究进展综述
专知会员服务
55+阅读 · 2023年2月24日
专知会员服务
34+阅读 · 2021年9月29日
专知会员服务
29+阅读 · 2021年9月6日
专知会员服务
18+阅读 · 2021年7月3日
CVPR 2019 | 神奇的超分辨率算法DPSR:应对图像模糊降质
计算机视觉life
16+阅读 · 2019年4月25日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
深度学习图像超分辨率最新综述:从模型到应用
炼数成金订阅号
65+阅读 · 2019年2月20日
无参考图像质量评价研究进展综述
人工智能前沿讲习班
47+阅读 · 2019年2月15日
图像美学质量评价技术发展趋势
科技导报
19+阅读 · 2018年6月25日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员