Existing image-based virtual try-on (VTON) methods primarily focus on single-layer or multi-garment VTON, neglecting multi-layer VTON (ML-VTON), which involves dressing multiple layers of garments onto the human body with realistic deformation and layering to generate visually plausible outcomes. The main challenge lies in accurately modeling occlusion relationships between inner and outer garments to reduce interference from redundant inner garment features. To address this, we propose GO-MLVTON, the first multi-layer VTON method, introducing the Garment Occlusion Learning module to learn occlusion relationships and the StableDiffusion-based Garment Morphing & Fitting module to deform and fit garments onto the human body, producing high-quality multi-layer try-on results. Additionally, we present the MLG dataset for this task and propose a new metric named Layered Appearance Coherence Difference (LACD) for evaluation. Extensive experiments demonstrate the state-of-the-art performance of GO-MLVTON. Project page: https://upyuyang.github.io/go-mlvton/.


翻译:现有的基于图像的虚拟试穿方法主要关注单层或多件服装的试穿,而忽略了多层虚拟试穿。多层虚拟试穿涉及将多层服装穿着到人体上,并实现真实的形变与层次叠加,以生成视觉上合理的结果。其主要挑战在于准确建模内外层服装之间的遮挡关系,以减少冗余内层服装特征的干扰。为此,我们提出了首个多层虚拟试穿方法GO-MLVTON,引入了服装遮挡学习模块以学习遮挡关系,以及基于StableDiffusion的服装形变与拟合模块,用于将服装变形并贴合到人体上,从而生成高质量的多层试穿结果。此外,我们为此任务构建了MLG数据集,并提出了一种名为分层外观一致性差异的新评估指标。大量实验证明了GO-MLVTON的先进性能。项目页面:https://upyuyang.github.io/go-mlvton/。

0
下载
关闭预览

相关内容

【博士论文】弥合多模态基础模型与世界模型之间的鸿沟
几种典型的虚实融合技术发展研究
专知会员服务
93+阅读 · 2023年12月17日
《基于图像的虚拟试穿》综述
专知会员服务
22+阅读 · 2023年11月10日
多模态大模型的幻觉问题与评估
专知会员服务
57+阅读 · 2023年7月28日
多模态认知计算
专知会员服务
182+阅读 · 2022年9月16日
【博士论文】多视光场光线空间几何模型研究
专知会员服务
24+阅读 · 2021年12月6日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
【学界】虚拟对抗训练:一种新颖的半监督学习正则化方法
GAN生成式对抗网络
10+阅读 · 2019年6月9日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员