Supervised convolutional neural networks (CNNs) are widely used to solve imaging inverse problems, achieving state-of-the-art performance in numerous applications. However, despite their empirical success, these methods are poorly understood from a theoretical perspective and often treated as black boxes. To bridge this gap, we analyze trained neural networks through the lens of the Minimum Mean Square Error (MMSE) estimator, incorporating functional constraints that capture two fundamental inductive biases of CNNs: translation equivariance and locality via finite receptive fields. Under the empirical training distribution, we derive an analytic, interpretable, and tractable formula for this constrained variant, termed Local-Equivariant MMSE (LE-MMSE). Through extensive numerical experiments across various inverse problems (denoising, inpainting, deconvolution), datasets (FFHQ, CIFAR-10, FashionMNIST), and architectures (U-Net, ResNet, PatchMLP), we demonstrate that our theory matches the neural networks outputs (PSNR $\gtrsim25$dB). Furthermore, we provide insights into the differences between \emph{physics-aware} and \emph{physics-agnostic} estimators, the impact of high-density regions in the training (patch) distribution, and the influence of other factors (dataset size, patch size, etc).


翻译:监督式卷积神经网络(CNNs)被广泛用于解决成像逆问题,在众多应用中实现了最先进的性能。然而,尽管这些方法在经验上取得了成功,但从理论角度理解甚少,通常被视为黑箱。为弥合这一差距,我们通过最小均方误差(MMSE)估计器的视角分析训练后的神经网络,并引入捕捉CNN两个基本归纳偏好的函数约束:平移等变性和通过有限感受野实现的局部性。在经验训练分布下,我们推导出该约束变体——称为局部等变MMSE(LE-MMSE)——的一个解析、可解释且易于处理的公式。通过在多种逆问题(去噪、修复、去卷积)、数据集(FFHQ、CIFAR-10、FashionMNIST)和架构(U-Net、ResNet、PatchMLP)上进行的大量数值实验,我们证明该理论与神经网络的输出结果相符(PSNR $\gtrsim25$dB)。此外,我们深入探讨了**物理感知**与**物理无关**估计器之间的差异、训练(图像块)分布中高密度区域的影响,以及其他因素(数据集规模、图像块大小等)的作用。

0
下载
关闭预览

相关内容

深度学习中卷积的综述:应用、挑战和未来趋势
专知会员服务
38+阅读 · 2024年3月22日
专知会员服务
81+阅读 · 2020年8月4日
卷积神经网络的概述论文:分析、应用和展望,21页pdf
专知会员服务
91+阅读 · 2020年4月7日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
39+阅读 · 2020年2月21日
深度神经网络模型压缩与加速综述
专知会员服务
130+阅读 · 2019年10月12日
卷积神经网络数学原理解析
算法与数学之美
20+阅读 · 2019年8月23日
深入卷积神经网络背后的数学原理
人工智能学家
10+阅读 · 2019年4月26日
牛逼哄哄的图卷积神经网络将带来哪些机遇?
计算机视觉life
49+阅读 · 2019年3月25日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
卷积神经网络的最佳解释!
专知
12+阅读 · 2018年5月1日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月12日
Arxiv
0+阅读 · 2月5日
VIP会员
相关资讯
卷积神经网络数学原理解析
算法与数学之美
20+阅读 · 2019年8月23日
深入卷积神经网络背后的数学原理
人工智能学家
10+阅读 · 2019年4月26日
牛逼哄哄的图卷积神经网络将带来哪些机遇?
计算机视觉life
49+阅读 · 2019年3月25日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
卷积神经网络的最佳解释!
专知
12+阅读 · 2018年5月1日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员