Look-Up Table based methods have emerged as a promising direction for efficient image restoration tasks. Recent LUT-based methods focus on improving their performance by expanding the receptive field. However, they inevitably introduce extra computational and storage overhead, which hinders their deployment in edge devices. To address this issue, we propose ShiftLUT, a novel framework that attains the largest receptive field among all LUT-based methods while maintaining high efficiency. Our key insight lies in three complementary components. First, Learnable Spatial Shift module (LSS) is introduced to expand the receptive field by applying learnable, channel-wise spatial offsets on feature maps. Second, we propose an asymmetric dual-branch architecture that allocates more computation to the information-dense branch, substantially reducing inference latency without compromising restoration quality. Finally, we incorporate a feature-level LUT compression strategy called Error-bounded Adaptive Sampling (EAS) to minimize the storage overhead. Compared to the previous state-of-the-art method TinyLUT, ShiftLUT achieves a 3.8$\times$ larger receptive field and improves an average PSNR by over 0.21 dB across multiple standard benchmarks, while maintaining a small storage size and inference time.


翻译:基于查找表的方法已成为高效图像复原任务中一个前景广阔的研究方向。近期基于查找表的方法主要通过扩大感受野来提升性能,但这不可避免地会引入额外的计算与存储开销,阻碍其在边缘设备上的部署。为解决这一问题,我们提出ShiftLUT,这是一个新颖的框架,在所有基于查找表的方法中获得了最大的感受野,同时保持了高效率。我们的核心思路包含三个互补的组成部分。首先,引入可学习空间移位模块,通过对特征图施加可学习的通道级空间偏移来扩大感受野。其次,我们提出一种非对称双分支架构,将更多计算资源分配给信息密集的分支,从而在不影响复原质量的前提下显著降低推理延迟。最后,我们采用了一种称为误差界自适应采样的特征级查找表压缩策略,以最小化存储开销。与先前最先进的方法TinyLUT相比,ShiftLUT实现了3.8倍的感受野扩大,并在多个标准基准测试中将平均峰值信噪比提升了超过0.21 dB,同时保持了较小的存储占用和推理时间。

0
下载
关闭预览

相关内容

在计算机科学中,查找表是一个用更简单的数组索引操作代替运行时计算的数组。 在处理时间方面的节省是可观的,因为从存储器中检索值通常比进行“昂贵”的计算或输入/输出操作要快。 这些表可以预先计算并存储在静态程序存储中,作为程序初始化阶段(内存化)的一部分进行计算(或“预取”),甚至可以存储在特定于应用程序平台中的硬件中。 查找表还广泛用于通过与数组中的有效(或无效)项列表进行匹配来验证输入值,并且在某些编程语言中,查找表可能包含指针函数(或标签偏移量)以处理匹配的输入。 FPGA还广泛使用可重新配置的,硬件实现的查找表,以提供可编程的硬件功能。
图增强生成(GraphRAG)
专知会员服务
35+阅读 · 2025年1月4日
Graph Transformer近期进展
专知会员服务
65+阅读 · 2023年1月5日
AmpliGraph:知识图谱表示学习工具包
专知
40+阅读 · 2019年4月6日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
基于图片内容的深度学习图片检索(一)
七月在线实验室
20+阅读 · 2017年10月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月7日
VIP会员
最新内容
技术、多域威慑与海上战争(报告)
专知会员服务
2+阅读 · 今天15:04
“在云端防御”:提升北约数据韧性(报告)
专知会员服务
1+阅读 · 今天14:54
人工智能及其在海军行动中的整合(综述)
专知会员服务
1+阅读 · 今天14:07
美军MAVEN项目全面解析:算法战架构
专知会员服务
16+阅读 · 今天8:36
从俄乌战场看“马赛克战”(万字长文)
专知会员服务
10+阅读 · 今天8:19
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员