Domain shift has always been one of the primary issues in video object segmentation (VOS), for which models suffer from degeneration when tested on unfamiliar datasets. Recently, many online methods have emerged to narrow the performance gap between training data (source domain) and test data (target domain) by fine-tuning on annotations of test data which are usually in shortage. In this paper, we propose a novel method to tackle domain shift by first introducing adversarial domain adaptation to the VOS task, with supervised training on the source domain and unsupervised training on the target domain. By fusing appearance and motion features with a convolution layer, and by adding supervision onto the motion branch, our model achieves state-of-the-art performance on DAVIS2016 with 82.6% mean IoU score after supervised training. Meanwhile, our adversarial domain adaptation strategy significantly raises the performance of the trained model when applied on FBMS59 and Youtube-Object, without exploiting extra annotations.


翻译:域变始终是视频对象分割(VOS)中的主要问题之一,在对不熟悉的数据集进行测试时模型会退化。最近,许多在线方法通过微调通常短缺的测试数据说明,缩小了培训数据(源域)和测试数据(目标域)之间的性能差距。在本文件中,我们提出了一种新的方法,通过首先对VOS任务引入对抗性域调整,在源域进行监管培训,并在目标域进行不受监督的培训,解决域变换问题。通过将外观和运动功能与组合层相结合,并通过在运动分支上增加监管,我们的模型在DAVIS2016上取得了最新业绩,在接受监督后达到82.6%的IoU分。与此同时,我们的对抗性域调整战略在应用FBMS59和Youtube-Object时,在不利用额外说明的情况下,大大提高了经过培训的模型的性能。

0
下载
关闭预览

相关内容

专知会员服务
32+阅读 · 2021年6月12日
多标签学习的新趋势(2020 Survey)
专知会员服务
44+阅读 · 2020年12月6日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
Arxiv
0+阅读 · 2021年7月9日
Deep Co-Training for Semi-Supervised Image Segmentation
VIP会员
最新内容
人工智能赋能无人机:俄乌战争(万字长文)
专知会员服务
5+阅读 · 今天6:56
国外海军作战管理系统与作战训练系统
专知会员服务
2+阅读 · 今天4:16
美军条令《海军陆战队规划流程(2026版)》
专知会员服务
10+阅读 · 今天3:36
《压缩式分布式交互仿真标准》120页
专知会员服务
4+阅读 · 今天3:21
《电子战数据交换模型研究报告》
专知会员服务
6+阅读 · 今天3:13
《基于Transformer的异常舰船导航识别与跟踪》80页
《低数据领域军事目标检测模型研究》
专知会员服务
6+阅读 · 今天2:37
【CMU博士论文】物理世界的视觉感知与深度理解
专知会员服务
10+阅读 · 4月22日
Top
微信扫码咨询专知VIP会员