Given a person and a garment image, virtual try-on (VTO) aims to synthesize a realistic image of the person wearing the garment, while preserving their original pose and identity. Although recent VTO methods excel at visualizing garment appearance, they largely overlook a crucial aspect of the try-on experience: the accuracy of garment fit -- for example, depicting how an extra-large shirt looks on an extra-small person. A key obstacle is the absence of datasets that provide precise garment and body size information, particularly for "ill-fit" cases, where garments are significantly too large or too small. Consequently, current VTO methods default to generating well-fitted results regardless of the garment or person size. In this paper, we take the first steps towards solving this open problem. We introduce FIT (Fit-Inclusive Try-on), a large-scale VTO dataset comprising over 1.13M try-on image triplets accompanied by precise body and garment measurements. We overcome the challenges of data collection via a scalable synthetic strategy: (1) We programmatically generate 3D garments using GarmentCode and drape them via physics simulation to capture realistic garment fit. (2) We employ a novel re-texturing framework to transform synthetic renderings into photorealistic images while strictly preserving geometry. (3) We introduce person identity preservation into our re-texturing model to generate paired person images (same person, different garments) for supervised training. Finally, we leverage our FIT dataset to train a baseline fit-aware virtual try-on model. Our data and results set the new state-of-the-art for fit-aware virtual try-on, as well as offer a robust benchmark for future research. We will make all data and code publicly available on our project page: https://johannakarras.github.io/FIT.


翻译:给定人物与服装图像,虚拟试穿(VTO)旨在合成人物穿着该服装的真实图像,同时保留其原始姿态与身份特征。尽管近期VTO方法在可视化服装外观方面表现出色,但大多忽略了试穿体验的关键维度:服装合身度的准确性——例如,如何呈现超大号衬衫穿在极小身材人物身上的效果。其主要障碍在于缺乏提供精确服装与身体尺寸信息的数据集,尤其是针对服装显著过大或过小的"不合身"案例。因此,当前VTO方法不论服装或人物尺寸如何,均默认生成合身效果。本文首次着手解决这一开放性问题。我们提出FIT(合身包容性试穿),一个大规模VTO数据集,包含超过113万组试穿图像三元组,并附有精确的人体与服装尺寸数据。通过可扩展的合成策略克服数据采集挑战:(1)利用GarmentCode程序化生成3D服装,并通过物理模拟进行悬垂处理以捕捉真实的服装合身效果;(2)采用新型重新纹理框架将合成渲染图像转化为逼真图像,同时严格保留几何结构;(3)在重新纹理模型中引入人物身份保持机制,生成用于监督训练的配对人物图像(同一人物、不同服装)。最后,我们利用FIT数据集训练基线合身感知虚拟试穿模型。我们的数据与结果树立了合身感知虚拟试穿的新标杆,并为未来研究提供了稳健的基准。所有数据与代码将在项目页面公开:https://johannakarras.github.io/FIT。

0
下载
关闭预览

相关内容

大规模视觉模型中的基于提示的适应:综述
专知会员服务
21+阅读 · 2025年10月26日
大规模视觉模型中的提示式适配:综述
专知会员服务
17+阅读 · 2025年10月16日
跨多种数据模态的视觉目标跟踪:综述
专知会员服务
30+阅读 · 2024年12月16日
《基于图像的虚拟试穿》综述
专知会员服务
22+阅读 · 2023年11月10日
最新《深度学习人体姿态估计》综述论文,26页pdf
专知会员服务
40+阅读 · 2020年12月29日
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
【学界】虚拟对抗训练:一种新颖的半监督学习正则化方法
GAN生成式对抗网络
10+阅读 · 2019年6月9日
【紫冬分享】基于人体骨架的行为识别
中国科学院自动化研究所
20+阅读 · 2019年1月18日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
虚拟kitti数据集
CreateAMind
12+阅读 · 2017年10月14日
视觉里程计:起源、优势、对比、应用
计算机视觉life
18+阅读 · 2017年7月17日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 20分钟前
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 22分钟前
美以伊冲突:无人机与人工智能的运用
专知会员服务
2+阅读 · 34分钟前
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 54分钟前
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关资讯
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
【学界】虚拟对抗训练:一种新颖的半监督学习正则化方法
GAN生成式对抗网络
10+阅读 · 2019年6月9日
【紫冬分享】基于人体骨架的行为识别
中国科学院自动化研究所
20+阅读 · 2019年1月18日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
虚拟kitti数据集
CreateAMind
12+阅读 · 2017年10月14日
视觉里程计:起源、优势、对比、应用
计算机视觉life
18+阅读 · 2017年7月17日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员