Optical flow has achieved great success under clean scenes, but suffers from restricted performance under foggy scenes. To bridge the clean-to-foggy domain gap, the existing methods typically adopt the domain adaptation to transfer the motion knowledge from clean to synthetic foggy domain. However, these methods unexpectedly neglect the synthetic-to-real domain gap, and thus are erroneous when applied to real-world scenes. To handle the practical optical flow under real foggy scenes, in this work, we propose a novel unsupervised cumulative domain adaptation optical flow (UCDA-Flow) framework: depth-association motion adaptation and correlation-alignment motion adaptation. Specifically, we discover that depth is a key ingredient to influence the optical flow: the deeper depth, the inferior optical flow, which motivates us to design a depth-association motion adaptation module to bridge the clean-to-foggy domain gap. Moreover, we figure out that the cost volume correlation shares similar distribution of the synthetic and real foggy images, which enlightens us to devise a correlation-alignment motion adaptation module to distill motion knowledge of the synthetic foggy domain to the real foggy domain. Note that synthetic fog is designed as the intermediate domain. Under this unified framework, the proposed cumulative adaptation progressively transfers knowledge from clean scenes to real foggy scenes. Extensive experiments have been performed to verify the superiority of the proposed method.


翻译:光流在清晰场景下已取得巨大成功,但在雾天场景下性能受限。为弥合清晰到合成雾天的域差异,现有方法通常采用域适应策略将运动知识从清晰域迁移至合成雾天域。然而,这些方法意外忽视了合成域到真实域之间的鸿沟,因此在应用于真实场景时会产生误差。为解决真实雾天场景下的实用光流估计问题,本文提出一种新颖的无监督累积域适应光流框架(UCDA-Flow),包含深度关联运动适应模块与相关性对齐运动适应模块。具体而言,我们发现深度是影响光流的关键因素:深度越大,光流质量越差,这启发我们设计深度关联运动适应模块以弥合清晰域与合成雾天域的差异。进一步,我们发现代价体相关性在合成雾天图像与真实雾天图像中具有相似分布,这促使我们设计相关性对齐运动适应模块,将合成雾天域的运动知识蒸馏至真实雾天域。值得注意的是,合成雾被设计为中间域。在该统一框架下,所提出的累积适应机制逐步将知识从清晰场景迁移至真实雾天场景。大量实验验证了所提方法的优越性。

0
下载
关闭预览

相关内容

通过学习、实践或探索所获得的认识、判断或技能。
【AAAI2023】FoPro:少样本引导的鲁棒维布监督原型学习
专知会员服务
15+阅读 · 2022年12月3日
专知会员服务
39+阅读 · 2021年3月29日
【AAAI2021】基于内容迁移的无监督领域自适应语义分割
专知会员服务
18+阅读 · 2020年12月25日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2023年5月7日
Arxiv
12+阅读 · 2021年6月29日
VIP会员
最新内容
机器的崛起:美海军陆战队组建机器人营思考
专知会员服务
1+阅读 · 20分钟前
无面之战:人工智能如何重绘权力版图
专知会员服务
0+阅读 · 39分钟前
《最强大的军事网状网络》
专知会员服务
7+阅读 · 9月7日
《预测陆军征兵任务分配》110页
专知会员服务
6+阅读 · 9月7日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员