The highly nonlinear degradation process, complex physical interactions, and various sources of uncertainty render single-image Super-resolution (SR) a particularly challenging task. Existing interpretable SR approaches, whether based on prior learning or deep unfolding optimization frameworks, typically rely on black-box deep networks to model latent variables, which leaves the degradation process largely unknown and uncontrollable. Inspired by the Kolmogorov-Arnold theorem (KAT), we for the first time propose a novel interpretable operator, termed Kolmogorov-Arnold Neural Operator (KANO), with the application to image SR. KANO provides a transparent and structured representation of the latent degradation fitting process. Specifically, we employ an additive structure composed of a finite number of B-spline functions to approximate continuous spectral curves in a piecewise fashion. By learning and optimizing the shape parameters of these spline functions within defined intervals, our KANO accurately captures key spectral characteristics, such as local linear trends and the peak-valley structures at nonlinear inflection points, thereby endowing SR results with physical interpretability. Furthermore, through theoretical modeling and experimental evaluations across natural images, aerial photographs, and satellite remote sensing data, we systematically compare multilayer perceptrons (MLPs) and Kolmogorov-Arnold networks (KANs) in handling complex sequence fitting tasks. This comparative study elucidates the respective advantages and limitations of these models in characterizing intricate degradation mechanisms, offering valuable insights for the development of interpretable SR techniques.


翻译:高度非线性的退化过程、复杂的物理相互作用以及多种不确定性来源,使得单幅图像超分辨率(SR)成为一项极具挑战性的任务。现有的可解释SR方法,无论是基于先验学习还是深度展开优化框架,通常依赖黑盒深度网络来建模潜在变量,这使得退化过程在很大程度上未知且不可控。受Kolmogorov-Arnold定理(KAT)的启发,我们首次提出一种新型可解释算子,称为Kolmogorov-Arnold神经算子(KANO),并将其应用于图像SR。KANO为潜在的退化拟合过程提供了透明且结构化的表示。具体而言,我们采用由有限个B样条函数构成的加性结构,以分段方式逼近连续光谱曲线。通过在定义区间内学习和优化这些样条函数的形状参数,我们的KANO能够精确捕捉关键光谱特征,例如局部线性趋势以及非线性拐点处的峰谷结构,从而赋予SR结果以物理可解释性。此外,通过对自然图像、航空照片和卫星遥感数据的理论建模与实验评估,我们系统比较了多层感知机(MLP)和Kolmogorov-Arnold网络(KAN)在处理复杂序列拟合任务中的表现。这项对比研究阐明了这些模型在表征复杂退化机制方面的各自优势与局限,为可解释SR技术的发展提供了有价值的见解。

0
下载
关闭预览

相关内容

图像超分辨率(SR)是提高图像分辨率的一类重要的图像处理技术以及计算机视觉中的视频。
专知会员服务
41+阅读 · 2021年6月19日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员