As a common image editing operation, image composition/compositing, which is also called object/subject insertion/addition/compositing, aims to combine the foreground from one image and another background image to produce a composite image. However, there are many issues that could make the composite images unrealistic. These issues can be summarized as the inconsistency between foreground and background, which includes appearance inconsistency, geometry inconsistency, and semantic inconsistency. The image composition task could be decomposed into multiple sub-tasks, in which each sub-task targets one or more issues. Specifically, object placement aims to find reasonable scale, location, and shape for the foreground. Image blending aims to address the unnatural boundary between foreground and background. Image harmonization aims to adjust the illumination statistics of foreground. Shadow (resp., reflection) generation aims to generate plausible shadow (resp., reflection) for the foreground. These sub-tasks can be executed sequentially or in parallel to acquire realistic composite images. To the best of our knowledge, there is no previous survey on image composition. In this paper, we conduct a comprehensive survey over the sub-tasks and combined task of image composition. For each one, we summarize the existing methods, available datasets, and common evaluation metrics. Datasets and codes for image composition are summarized at https://github.com/bcmi/Awesome-Object-Insertion. We have also contributed the first image composition toolbox: libcom https://github.com/bcmi/libcom, which assembles 10+ image-composition-related functions. The ultimate goal of this toolbox is to solve all image composition problems with simple `import libcom'. Based on libcom toolbox, we also develop an online image composition workbench https://libcom.ustcnewly.com.


翻译:作为一种常见的图像编辑操作,图像合成(亦称为对象/主体插入、添加或合成)旨在将一幅图像的前景与另一幅背景图像进行融合以生成合成图像。然而,诸多因素可能导致合成图像缺乏真实感。这些问题可归纳为前景与背景之间的不一致性,包括外观不一致、几何不一致和语义不一致。图像合成任务可分解为多个子任务,每个子任务针对一个或多个问题。具体而言,对象放置旨在为前景确定合理的尺度、位置和形状;图像融合旨在处理前景与背景之间的不自然边界;图像协调旨在调整前景的光照统计特征;阴影(或反射)生成旨在为前景生成合理的阴影(或反射)。这些子任务可串行或并行执行,以获取真实的合成图像。据我们所知,目前尚未出现针对图像合成的综述性研究。本文对图像合成的子任务及其组合任务进行了全面综述。针对每个子任务,我们总结了现有方法、可用数据集及常用评估指标。图像合成的数据集与代码汇总于 https://github.com/bcmi/Awesome-Object-Insertion。我们还贡献了首个图像合成工具箱:libcom(https://github.com/bcmi/libcom),该工具箱集成了10余项图像合成相关功能,最终目标是通过简单调用 `import libcom` 解决所有图像合成问题。基于 libcom 工具箱,我们还开发了在线图像合成工作台 https://libcom.ustcnewly.com。

0
下载
关闭预览

相关内容

基于深度学习的图像融合方法综述
专知会员服务
58+阅读 · 2023年1月25日
图像修复研究进展综述
专知
20+阅读 · 2021年3月9日
深度学习的图像修复
AI研习社
22+阅读 · 2019年3月28日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
14+阅读 · 2023年9月27日
VIP会员
最新内容
无人机已改变战场,但并未解决指挥问题
专知会员服务
5+阅读 · 8月14日
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
11+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
16+阅读 · 8月10日
《边缘计算关键技术分析及美军作战实践应用》
相关VIP内容
基于深度学习的图像融合方法综述
专知会员服务
58+阅读 · 2023年1月25日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员