Image restoration is an inherently ill posed inverse problem. Equivariant networks that embed geometric symmetry priors can mitigate this ill posedness and improve performance. However, current understanding of the relationship between network equivariance and data symmetry remains largely heuristic. Particularly for real world data with imperfect symmetry, existing research lacks a systematic theoretical framework to quantify symmetry, select transformation groups, or evaluate model data alignment. To bridge this gap, we conduct an analysis from an optimization perspective and formalize the intrinsic relationship among data symmetry priors, model equivariance, and generalization capability. Specifically, we propose for the first time a quantifiable definition of non strict symmetry at the dataset level (rather than sample level) and use it as a constraint to formulate the restoration inverse problem. We then show that the equivariance for restoration models can be naturally derived from this inverse problems incorporated the proposed symmetry constraints, and that the equivariance error of the optimal restoration operator is strictly bounded by the data symmetry error and the discretization mesh size. Furthermore, by analyzing the network's empirical risk, we demonstrate that aligning equivariance with data symmetry optimizes the bias variance trade off, minimizing the total expected risk. Guided by these insights, we propose a Sample Adaptive Equivariant Network that uses a hypernetwork and transformation learnable equivariant convolutions to dynamically align with each sample's inherent symmetry. Extensive experiments on super resolution, denoising, and deraining validate our theoretical findings and show significant superiority over standard baselines and traditional equivariant models. Our code and supplementary material are available at https://github.com/tanfy929/SA-Conv.


翻译:图像恢复本质上是一个病态的逆问题。嵌入几何对称性先验的等变网络可以缓解这种病态性并提升性能。然而,当前对网络等变性与数据对称性关系的理解仍停留在启发式层面。特别是对于具有非完美对称性的真实数据,现有研究缺乏系统的理论框架来量化对称性、选择变换群或评估模型与数据的对齐程度。为弥合这一差距,我们从优化视角进行分析,形式化定义了数据对称先验、模型等变性与泛化能力之间的内在关系。具体而言,我们首次在数据集层面(而非样本层面)提出非严格对称性的可量化定义,并将其作为约束条件来构建恢复逆问题。随后证明,恢复模型的等变性可自然地从融入所提对称约束的逆问题中推导得出,且最优恢复算子的等变误差严格受限于数据对称误差与离散化网格尺寸。进一步通过分析网络的经验风险,我们证明将等变性与数据对称性对齐可优化偏差-方差权衡,从而使总期望风险最小化。基于这些理论洞见,我们提出样本自适应等变网络,利用超网络和变换可学习等变卷积动态对齐每个样本的固有对称性。在超分辨率、去噪和去雨任务上的大量实验验证了我们的理论发现,并显示出相较于标准基线模型与传统等变模型具有显著优势。我们的代码及补充材料见 https://github.com/tanfy929/SA-Conv。

0
下载
关闭预览

相关内容

【纽约大学博士论文】对称神经网络理论,148页pdf
专知会员服务
41+阅读 · 2024年4月4日
几何图神经网络综述:数据结构、模型与应用
专知会员服务
55+阅读 · 2024年3月4日
【ETHZ博士论文】朝向更好的图像和视频恢复,159页pdf
专知会员服务
19+阅读 · 2023年10月16日
中科大等最新《基于扩散模型的图像恢复和增强》综述
专知会员服务
37+阅读 · 2023年8月22日
等变图神经网络综述解读
专知会员服务
26+阅读 · 2023年1月9日
图像修复研究进展综述
专知
20+阅读 · 2021年3月9日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月31日
Arxiv
0+阅读 · 5月7日
VIP会员
最新内容
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 今天4:08
美空军如何将人工智能从战场部署至后方机关
专知会员服务
11+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
7+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
5+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
7+阅读 · 7月31日
“史诗怒火”行动:现代多域作战的重要节点
专知会员服务
8+阅读 · 7月30日
《下一代无线网络中的多无人机通信资源管理》
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员