Image-based Virtual Try-On (VTON) concerns the synthesis of realistic person imagery through garment re-rendering under human pose and body constraints. In practice, however, existing approaches are typically optimized for specific data conditions, making their deployment reliant on retraining and limiting their generalization as a unified solution. We present OmniVTON++, a training-free VTON framework designed for universal applicability. It addresses the intertwined challenges of garment alignment, human structural coherence, and boundary continuity by coordinating Structured Garment Morphing for correspondence-driven garment adaptation, Principal Pose Guidance for step-wise structural regulation during diffusion sampling, and Continuous Boundary Stitching for boundary-aware refinement, forming a cohesive pipeline without task-specific retraining. Experimental results demonstrate that OmniVTON++ achieves state-of-the-art performance across diverse generalization settings, including cross-dataset and cross-garment-type evaluations, while reliably operating across scenarios and diffusion backbones within a single formulation. In addition to single-garment, single-human cases, the framework supports multi-garment, multi-human, and anime character virtual try-on, expanding the scope of virtual try-on applications. The source code will be released to the public.


翻译:基于图像的虚拟试穿旨在通过人体姿态和身体约束下的服装重渲染,合成逼真的人物图像。然而,在实践中,现有方法通常针对特定数据条件进行优化,导致其部署依赖于重新训练,并限制了其作为统一解决方案的泛化能力。我们提出了OmniVTON++,一个为通用适用性设计的免训练虚拟试穿框架。它通过协调以下三个模块,解决了服装对齐、人体结构连贯性和边界连续性之间相互交织的挑战:用于基于对应关系驱动服装适配的结构化服装变形、用于在扩散采样过程中进行逐步结构调控的主姿态引导、以及用于边界感知细化的连续边界缝合,从而形成一个无需针对特定任务进行重新训练的连贯流程。实验结果表明,OmniVTON++在多样化的泛化设置(包括跨数据集和跨服装类型评估)中均达到了最先进的性能,同时能够基于单一框架,可靠地跨不同场景和扩散主干网络运行。除了单服装、单人物的案例外,该框架还支持多服装、多人物以及动漫角色的虚拟试穿,从而扩展了虚拟试穿的应用范围。源代码将向公众发布。

0
下载
关闭预览

相关内容

《基于图像的虚拟试穿》综述
专知会员服务
22+阅读 · 2023年11月10日
姿势服装随心换-CVPR2019
专知会员服务
36+阅读 · 2020年1月26日
【学界】虚拟对抗训练:一种新颖的半监督学习正则化方法
GAN生成式对抗网络
10+阅读 · 2019年6月9日
基于姿态的人物视频生成【附PPT与视频资料】
人工智能前沿讲习班
32+阅读 · 2019年1月28日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
VIP会员
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员