For natural image matting, context information plays a crucial role in estimating alpha mattes especially when it is challenging to distinguish foreground from its background. Exiting deep learning-based methods exploit specifically designed context aggregation modules to refine encoder features. However, the effectiveness of these modules has not been thoroughly explored. In this paper, we conduct extensive experiments to reveal that the context aggregation modules are actually not as effective as expected. We also demonstrate that when learned on large image patches, basic encoder-decoder networks with a larger receptive field can effectively aggregate context to achieve better performance.Upon the above findings, we propose a simple yet effective matting network, named AEMatter, which enlarges the receptive field by incorporating an appearance-enhanced axis-wise learning block into the encoder and adopting a hybrid-transformer decoder. Experimental results on four datasets demonstrate that our AEMatter significantly outperforms state-of-the-art matting methods (e.g., on the Adobe Composition-1K dataset, \textbf{25\%} and \textbf{40\%} reduction in terms of SAD and MSE, respectively, compared against MatteFormer). The code and model are available at \url{https://github.com/QLYoo/AEMatter}.


翻译:在自然图像抠图中,上下文信息在估计alpha遮罩时起着关键作用,特别是在区分前景与背景具有挑战性的情况下。现有的深度学习方法利用专门设计的上下文聚合模块来优化编码器特征。然而,这些模块的有效性尚未得到充分探索。本文通过大量实验揭示,上下文聚合模块实际上并不如预期那样有效。我们还证明,当在大图像块上进行训练时,具有更大感受野的基本编码器-解码器网络能够有效聚合上下文,从而实现更优性能。基于上述发现,我们提出一种简单而有效的抠图网络,命名为AEMatter,该网络通过将外观增强的轴向导学习模块融入编码器,并采用混合变换解码器来扩大感受野。在四个数据集上的实验结果表明,我们的AEMatter显著优于最先进的抠图方法(例如,在Adobe Composition-1K数据集上,与MatteFormer相比,SAD和MSE分别降低了\textbf{25\%}和\textbf{40\%})。代码和模型可在\url{https://github.com/QLYoo/AEMatter}获取。

0
下载
关闭预览

相关内容

CVPR 2023 | GFPose: 在梯度场中编码三维人体姿态先验
专知会员服务
19+阅读 · 2023年3月25日
专知会员服务
90+阅读 · 2021年6月29日
专知会员服务
47+阅读 · 2020年10月5日
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
「Github」多模态机器学习文章阅读列表
专知
124+阅读 · 2019年8月15日
CVPR 2019 | 重磅!34篇 CVPR2019 论文实现代码
AI研习社
11+阅读 · 2019年6月21日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年5月22日
Arxiv
0+阅读 · 2023年5月22日
Arxiv
0+阅读 · 2023年5月19日
W-net: Bridged U-net for 2D Medical Image Segmentation
Arxiv
20+阅读 · 2018年7月12日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员