Existing Image-based virtual try-on (VTON) methods primarily focus on single-layer or multi-garment VTON, neglecting multi-layer VTON (ML-VTON), which involves dressing multiple layers of garments onto the human body with realistic deformation and layering to generate visually plausible outcomes. The main challenge lies in accurately modeling occlusion relationships between inner and outer garments to reduce interference from redundant inner garment features. To address this, we propose GO-MLVTON, the first multi-layer VTON method, introducing the Garment Occlusion Learning module to learn occlusion relationships and the StableDiffusion-based Garment Morphing & Fitting module to deform and fit garments onto the human body, producing high-quality multi-layer try-on results. Additionally, we present the MLG dataset for this task and propose a new metric named Layered Appearance Coherence Difference (LACD) for evaluation. Extensive experiments demonstrate the state-of-the-art performance of GO-MLVTON. Project page: https://upyuyang.github.io/go-mlvton/.


翻译:现有的基于图像的虚拟试穿方法主要关注单层或多件服装的试穿,而忽视了多层虚拟试穿。多层虚拟试穿需要将多层服装以逼真的形变和层次关系穿着到人体上,以生成视觉上合理的结果。其主要挑战在于准确建模内外层服装之间的遮挡关系,以减少冗余内层服装特征的干扰。为此,我们提出了首个多层虚拟试穿方法GO-MLVTON,该方法引入了服装遮挡学习模块来学习遮挡关系,以及基于StableDiffusion的服装形变与拟合模块来对服装进行形变并贴合人体,从而生成高质量的多层试穿结果。此外,我们为此任务提出了MLG数据集,并提出了一个名为分层外观一致性差异的新评估指标。大量实验证明了GO-MLVTON的先进性能。项目页面:https://upyuyang.github.io/go-mlvton/。

0
下载
关闭预览

相关内容

【博士论文】弥合多模态基础模型与世界模型之间的鸿沟
几种典型的虚实融合技术发展研究
专知会员服务
93+阅读 · 2023年12月17日
《基于图像的虚拟试穿》综述
专知会员服务
22+阅读 · 2023年11月10日
多模态大模型的幻觉问题与评估
专知会员服务
57+阅读 · 2023年7月28日
多模态认知计算
专知会员服务
182+阅读 · 2022年9月16日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
【学界】虚拟对抗训练:一种新颖的半监督学习正则化方法
GAN生成式对抗网络
10+阅读 · 2019年6月9日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员