As a common image editing operation, image composition/compositing, which is also called object/subject insertion/addition/compositing, aims to combine the foreground from one image and another background image to produce a composite image. However, there are many issues that could make the composite images unrealistic. These issues can be summarized as the inconsistency between foreground and background, which includes appearance inconsistency, geometry inconsistency, and semantic inconsistency. The image composition task could be decomposed into multiple sub-tasks, in which each sub-task targets one or more issues. Specifically, object placement aims to find reasonable scale, location, and shape for the foreground. Image blending aims to address the unnatural boundary between foreground and background. Image harmonization aims to adjust the illumination statistics of foreground. Shadow (resp., reflection) generation aims to generate plausible shadow (resp., reflection) for the foreground. These sub-tasks can be executed sequentially or in parallel to acquire realistic composite images. To the best of our knowledge, there is no previous survey on image composition. In this paper, we conduct a comprehensive survey over the sub-tasks and combined task of image composition. For each one, we summarize the existing methods, available datasets, and common evaluation metrics. Datasets and codes for image composition are summarized at https://github.com/bcmi/Awesome-Object-Insertion. We have also contributed the first image composition toolbox: libcom https://github.com/bcmi/libcom, which assembles 10+ image-composition-related functions. The ultimate goal of this toolbox is to solve all image composition problems with simple `import libcom'. Based on libcom toolbox, we also develop an online image composition workbench https://libcom.ustcnewly.com.


翻译:作为一种常见的图像编辑操作,图像合成(亦称为对象/主体插入、添加或合成)旨在将一幅图像的前景与另一幅背景图像进行融合以生成合成图像。然而,诸多因素可能导致合成图像缺乏真实感。这些问题可归纳为前景与背景之间的不一致性,包括外观不一致、几何不一致和语义不一致。图像合成任务可分解为多个子任务,每个子任务针对一个或多个问题。具体而言,对象放置旨在为前景确定合理的尺度、位置和形状;图像融合旨在处理前景与背景之间的不自然边界;图像协调旨在调整前景的光照统计特征;阴影(或反射)生成旨在为前景生成合理的阴影(或反射)。这些子任务可串行或并行执行,以获取真实的合成图像。据我们所知,目前尚未出现针对图像合成的综述性研究。本文对图像合成的子任务及其组合任务进行了全面综述。针对每个子任务,我们总结了现有方法、可用数据集及常用评估指标。图像合成的数据集与代码汇总于 https://github.com/bcmi/Awesome-Object-Insertion。我们还贡献了首个图像合成工具箱:libcom(https://github.com/bcmi/libcom),该工具箱集成了10余项图像合成相关功能,最终目标是通过简单调用 `import libcom` 解决所有图像合成问题。基于 libcom 工具箱,我们还开发了在线图像合成工作台 https://libcom.ustcnewly.com。

0
下载
关闭预览

相关内容

基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
图像修复研究进展综述
专知
20+阅读 · 2021年3月9日
深度学习的图像修复
AI研习社
22+阅读 · 2019年3月28日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
14+阅读 · 2023年9月27日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员