我们提出了一种基于学习的方法来去除不需要的障碍物，如从一个移动的相机捕获的短序列图像中的窗户反射、栅栏遮挡或雨滴。我们的方法利用背景和障碍物元素之间的运动差异来恢复这两个图层。具体来说，我们在估计两层的密集光流场和通过深度卷积神经网络从流扭曲图像重建每一层之间进行交替。基于学习的层重构允许我们在流量估计和脆性假设(如亮度一致性)中考虑潜在的误差。结果表明，综合生成的训练数据能很好地转换为真实图像。我们在反射和栅栏移除的许多挑战性场景中的结果证明了该方法的有效性。