We introduce Illustrator's Depth, a novel definition of depth that addresses a key challenge in digital content creation: decomposing flat images into editable, ordered layers. Inspired by an artist's compositional process, illustrator's depth infers a layer index to each pixel, forming an interpretable image decomposition through a discrete, globally consistent ordering of elements optimized for editability. We also propose and train a neural network using a curated dataset of layered vector graphics to predict layering directly from raster inputs. Our layer index inference unlocks a range of powerful downstream applications. In particular, it significantly outperforms state-of-the-art baselines for image vectorization while also enabling high-fidelity text-to-vector-graphics generation, automatic 3D relief generation from 2D images, and intuitive depth-aware editing. By reframing depth from a physical quantity to a creative abstraction, illustrator's depth prediction offers a new foundation for editable image decomposition.


翻译:我们提出"插画师深度"这一新颖的深度定义,旨在解决数字内容创作中的关键挑战:将平面图像分解为可编辑的有序图层。受艺术家构图过程的启发,插画师深度通过为每个像素推断图层索引,形成基于离散化、全局一致且针对可编辑性优化的元素排序的可解释图像分解。我们还提出并训练了一个神经网络,使用精心构建的分层矢量图形数据集,直接从栅格输入预测图层结构。我们的图层索引推断解锁了一系列强大的下游应用:在图像矢量化任务中显著优于现有先进基线方法,同时实现了高保真度的文本到矢量图形生成、从二维图像自动生成三维浮雕,以及直观的深度感知编辑。通过将深度从物理量重新定义为创作抽象概念,插画师深度预测为可编辑图像分解提供了新的理论基础。

0
下载
关闭预览

相关内容

细粒度图像分类的深度学习方法
专知会员服务
43+阅读 · 2021年10月18日
深度学习的图像修复
AI研习社
22+阅读 · 2019年3月28日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
Deep Image Prior:深度卷积网络先天就理解自然图像
极市平台
10+阅读 · 2017年12月5日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
《人工智能赋能电磁战》(报告)
专知会员服务
2+阅读 · 今天14:47
【CMU博士论文】迈向可扩展的开放世界三维感知
专知会员服务
1+阅读 · 今天14:06
前馈式三维场景建模
专知会员服务
1+阅读 · 今天14:03
(译文)认知战:以士兵为目标,塑造战略
专知会员服务
3+阅读 · 今天3:12
相关VIP内容
细粒度图像分类的深度学习方法
专知会员服务
43+阅读 · 2021年10月18日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员