Single Image Reflection Separation (SIRS) disentangles mixed images into transmission and reflection layers. Existing methods suffer from transmission-reflection confusion under nonlinear mixing, particularly in deep decoder layers, due to implicit fusion mechanisms and inadequate multi-scale coordination. We propose ReflexSplit, a dual-stream framework with three key innovations. (1) Cross-scale Gated Fusion (CrGF) adaptively aggregates semantic priors, texture details, and decoder context across hierarchical depths, stabilizing gradient flow and maintaining feature consistency. (2) Layer Fusion-Separation Blocks (LFSB) alternate between fusion for shared structure extraction and differential separation for layer-specific disentanglement. Inspired by Differential Transformer, we extend attention cancellation to dual-stream separation via cross-stream subtraction. (3) Curriculum training progressively strengthens differential separation through depth-dependent initialization and epoch-wise warmup. Extensive experiments on synthetic and real-world benchmarks demonstrate state-of-the-art performance with superior perceptual quality and robust generalization. Our code is available at https://github.com/wuw2135/ReflexSplit.


翻译:单图像反射分离(SIRS)旨在将混合图像解耦为透射层和反射层。现有方法在非线性混合条件下,特别是在深度解码器层中,由于隐式融合机制和多尺度协调不足,常出现透射-反射混淆问题。我们提出ReflexSplit,一种具有三个关键创新的双流框架。(1)跨尺度门控融合(CrGF)自适应地聚合跨层次深度的语义先验、纹理细节和解码器上下文,稳定梯度流并保持特征一致性。(2)层融合-分离块(LFSB)交替执行融合(用于提取共享结构)和差分分离(用于层特异性解耦)。受差分Transformer启发,我们通过跨流减法将注意力抵消机制扩展至双流分离。(3)课程训练通过深度依赖初始化和逐轮次预热逐步增强差分分离能力。在合成和真实世界基准上的大量实验表明,该方法取得了最先进的性能,具有优异的感知质量和鲁棒的泛化能力。我们的代码发布于 https://github.com/wuw2135/ReflexSplit。

0
下载
关闭预览

相关内容

基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
【CVPR2022】双曲图像分割
专知会员服务
19+阅读 · 2022年3月14日
专知会员服务
34+阅读 · 2021年2月7日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
如何用TensorFlow和TF-Slim实现图像标注、分类与分割
北京思腾合力科技有限公司
21+阅读 · 2017年11月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
相关VIP内容
相关资讯
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
如何用TensorFlow和TF-Slim实现图像标注、分类与分割
北京思腾合力科技有限公司
21+阅读 · 2017年11月24日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员