Handle-based mesh deformation has been a long-standing paradigm in computer graphics, enabling intuitive shape edits from sparse controls. Classic techniques offer precise and rapid deformation control. However, they solve an optimization problem with constraints defined by control handle placement, requiring a user to know apriori the ideal distribution of handles on the shape to accomplish the desired edit. The mapping from handle set to deformation behavior is often unintuitive and, importantly, non-semantic. Modern data-driven methods, on the other hand, leverage a data prior to obtain semantic edits, but are slow and imprecise. We propose a technique that fuses the semantic prior of data with the precise control and speed of traditional frameworks. Our approach is surprisingly simple yet effective: deep feature proximity makes for smooth and semantic deformation weights, with no need for additional regularization. The weights can be computed in real-time for any surface point, whereas prior methods require optimization for new handles. Moreover, the semantic prior from deep features enables co-deformation of semantic parts. We introduce an improved feature distillation pipeline, barycentric feature distillation, which efficiently uses the visual signal from shape renders to minimize distillation cost. This allows our weights to be computed for high resolution meshes in under a minute, in contrast to potentially hours for both classical and neural methods. We preserve and extend properties of classical methods through feature space constraints and locality weighting. Our field representation allows for automatic detection of semantic symmetries, which we use to produce symmetry-preserving deformations. We show a proof-of-concept application which can produce deformations for meshes up to 1 million faces in real-time on a consumer-grade machine.


翻译:基于控制柄的网格变形一直是计算机图形学中的一个长期范式,它能够通过稀疏控制实现直观的形状编辑。经典技术提供精确且快速的变形控制。然而,它们通过控制柄放置定义的约束来求解一个优化问题,这要求用户事先知道形状上控制柄的理想分布才能完成所需的编辑。从控制柄集合到变形行为的映射通常不直观,并且重要的是,它是非语义的。另一方面,现代数据驱动方法利用数据先验来获得语义编辑,但速度慢且不精确。我们提出了一种技术,将数据的语义先验与传统框架的精确控制和速度相融合。我们的方法出奇地简单却有效:深度特征邻近性产生了平滑且语义的变形权重,无需额外的正则化。这些权重可以为任何表面点实时计算,而先前的方法需要针对新的控制柄进行优化。此外,来自深度特征的语义先验支持语义部件的协同变形。我们引入了一种改进的特征蒸馏流程——重心特征蒸馏,它有效地利用形状渲染的视觉信号来最小化蒸馏成本。这使得我们能够在一分钟内为高分辨率网格计算权重,而经典方法和神经方法可能需要数小时。我们通过特征空间约束和局部性加权,保留并扩展了经典方法的特性。我们的场表示允许自动检测语义对称性,我们利用它来产生保持对称性的变形。我们展示了一个概念验证应用,它可以在消费级机器上实时为多达100万个面的网格生成变形。

0
下载
关闭预览

相关内容

Graph Transformer近期进展
专知会员服务
65+阅读 · 2023年1月5日
【MIT博士论文】深度学习几何表示,138页pdf
专知会员服务
71+阅读 · 2022年9月4日
【ICML2022】结构感知Transformer的图表示学习
专知会员服务
49+阅读 · 2022年6月17日
专知会员服务
21+阅读 · 2021年8月17日
【Tutorial】计算机视觉中的Transformer,98页ppt
专知
21+阅读 · 2021年10月25日
深度学习的下一步:Transformer和注意力机制
云头条
56+阅读 · 2019年9月14日
多图带你读懂 Transformers 的工作原理
AI研习社
10+阅读 · 2019年3月18日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月16日
Arxiv
0+阅读 · 2月13日
Arxiv
0+阅读 · 2月5日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员