Image restoration is an inherently ill posed inverse problem. Equivariant networks that embed geometric symmetry priors can mitigate this ill posedness and improve performance. However, current understanding of the relationship between network equivariance and data symmetry remains largely heuristic. Particularly for real world data with imperfect symmetry, existing research lacks a systematic theoretical framework to quantify symmetry, select transformation groups, or evaluate model data alignment. To bridge this gap, we conduct an analysis from an optimization perspective and formalize the intrinsic relationship among data symmetry priors, model equivariance, and generalization capability. Specifically, we propose for the first time a quantifiable definition of non strict symmetry at the dataset level (rather than sample level) and use it as a constraint to formulate the restoration inverse problem. We then show that the equivariance for restoration models can be naturally derived from this inverse problems incorporated the proposed symmetry constraints, and that the equivariance error of the optimal restoration operator is strictly bounded by the data symmetry error and the discretization mesh size. Furthermore, by analyzing the network's empirical risk, we demonstrate that aligning equivariance with data symmetry optimizes the bias variance trade off, minimizing the total expected risk. Guided by these insights, we propose a Sample Adaptive Equivariant Network that uses a hypernetwork and transformation learnable equivariant convolutions to dynamically align with each sample's inherent symmetry. Extensive experiments on super resolution, denoising, and deraining validate our theoretical findings and show significant superiority over standard baselines and traditional equivariant models. Our code and supplementary material are available at https://github.com/tanfy929/SA-Conv.


翻译:图像恢复本质上是一个病态的逆问题。嵌入几何对称性先验的等变网络可以缓解这种病态性并提升性能。然而,当前对网络等变性与数据对称性关系的理解仍停留在启发式层面。特别是对于具有非完美对称性的真实数据,现有研究缺乏系统的理论框架来量化对称性、选择变换群或评估模型与数据的对齐程度。为弥合这一差距,我们从优化视角进行分析,形式化定义了数据对称先验、模型等变性与泛化能力之间的内在关系。具体而言,我们首次在数据集层面(而非样本层面)提出非严格对称性的可量化定义,并将其作为约束条件来构建恢复逆问题。随后证明,恢复模型的等变性可自然地从融入所提对称约束的逆问题中推导得出,且最优恢复算子的等变误差严格受限于数据对称误差与离散化网格尺寸。进一步通过分析网络的经验风险,我们证明将等变性与数据对称性对齐可优化偏差-方差权衡,从而使总期望风险最小化。基于这些理论洞见,我们提出样本自适应等变网络,利用超网络和变换可学习等变卷积动态对齐每个样本的固有对称性。在超分辨率、去噪和去雨任务上的大量实验验证了我们的理论发现,并显示出相较于标准基线模型与传统等变模型具有显著优势。我们的代码及补充材料见 https://github.com/tanfy929/SA-Conv。

0
下载
关闭预览

相关内容

专知会员服务
30+阅读 · 2021年5月21日
[WWW2021]图结构估计神经网络
专知会员服务
43+阅读 · 2021年3月29日
Graph Neural Networks 综述
计算机视觉life
30+阅读 · 2019年8月13日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Simplifying Graph Convolutional Networks
Arxiv
12+阅读 · 2019年2月19日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
8+阅读 · 6月15日
相关VIP内容
专知会员服务
30+阅读 · 2021年5月21日
[WWW2021]图结构估计神经网络
专知会员服务
43+阅读 · 2021年3月29日
相关资讯
Graph Neural Networks 综述
计算机视觉life
30+阅读 · 2019年8月13日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员