In recent years, autonomous driving has significantly in creased the demand for high-quality data to train 2D and 3D perception models for safety-critical scenarios. Real world datasets struggle to meet this demand as require ments continuously evolve and large-scale annotated data collection remains costly and time-consuming making syn thetic data a scalable, practical and controllable alterna tive. Pedestrian detection is among the most safety-critical tasks in autonomous driving. In this paper, we propose a simple yet effective method for scaling variability in 3D pedestrian assets for synthetic scene generation. Starting from a single 3D base asset, we generate multiple distinct pedestrian instances by synthesizing diverse facial textures and identity-level appearance variations using StyleGAN2 and automatically mapping them onto 3D meshes. This ap proach enables scalable appearance-level asset diversifica tion without requiring the design of new geometries for each instance. Using the assets, we construct synthetic datasets and study the impact of mixing real and synthetic data for RGB-based object detection. Through complementary ex periments, we analyze geometry-driven distribution shifts in point cloud perception for 3D object detection. Our findings demonstrate that controlled synthetic diversifica tion improves robustness in 2D detection while revealing the sensitivity of 3D perception models to geometric domain gaps. Overall, this work highlights how generative AI en ables scalable, simulation-ready pedestrian diversification through controlled facial texture synthesis, along with the benefits and limitations of cross-domain training strategies in autonomous driving pipelines.


翻译:近年来,自动驾驶对高质量数据的需求显著增长,以训练安全关键场景下的2D和3D感知模型。真实世界数据集难以满足这一需求,因为要求持续演变,且大规模标注数据收集仍成本高昂且耗时,这使得合成数据成为一种可扩展、实用且可控的替代方案。行人检测是自动驾驶中最安全关键的任务之一。本文提出一种简单而有效的方法,用于增强3D行人资产在合成场景生成中的变异性。从单个3D基础资产出发,我们通过使用StyleGAN2合成多样化的面部纹理和身份级别的外观变化,并将其自动映射到3D网格上,生成多个不同的行人实例。该方法无需为每个实例设计新几何形状即可实现可扩展的外观级资产多样化。利用这些资产,我们构建合成数据集,并研究混合真实与合成数据对基于RGB目标检测的影响。通过补充实验,我们分析了3D目标检测中点云感知中几何驱动的分布偏移。我们的发现表明,受控的合成多样化提高了2D检测的鲁棒性,同时揭示了3D感知模型对几何域差异的敏感性。总体而言,这项工作突出了生成式AI如何通过可控的面部纹理合成实现可扩展的、可供仿真使用的行人多样化,以及跨域训练策略在自动驾驶流程中的优势与局限性。

0
下载
关闭预览

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
自动驾驶中的3D目标检测研究进展
专知会员服务
11+阅读 · 2025年7月20日
自动驾驶中的基础模型:场景生成与场景分析综述
专知会员服务
28+阅读 · 2025年6月16日
自动驾驶的世界模型综述
专知会员服务
47+阅读 · 2025年1月22日
【博士论文】鲁棒深度学习自动驾驶,160页pdf
专知会员服务
40+阅读 · 2022年11月17日
无人驾驶仿真软件
智能交通技术
22+阅读 · 2019年5月9日
自动驾驶汽车技术路线简介
智能交通技术
15+阅读 · 2019年4月25日
【未来黑科技】深度玩转行人重识别与跨境追踪
炼数成金订阅号
11+阅读 · 2019年4月18日
自动驾驶车载激光雷达技术现状分析
智能交通技术
17+阅读 · 2019年4月9日
【深度】行人检测算法
GAN生成式对抗网络
29+阅读 · 2018年6月3日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
自动驾驶中的3D目标检测研究进展
专知会员服务
11+阅读 · 2025年7月20日
自动驾驶中的基础模型:场景生成与场景分析综述
专知会员服务
28+阅读 · 2025年6月16日
自动驾驶的世界模型综述
专知会员服务
47+阅读 · 2025年1月22日
【博士论文】鲁棒深度学习自动驾驶,160页pdf
专知会员服务
40+阅读 · 2022年11月17日
相关资讯
无人驾驶仿真软件
智能交通技术
22+阅读 · 2019年5月9日
自动驾驶汽车技术路线简介
智能交通技术
15+阅读 · 2019年4月25日
【未来黑科技】深度玩转行人重识别与跨境追踪
炼数成金订阅号
11+阅读 · 2019年4月18日
自动驾驶车载激光雷达技术现状分析
智能交通技术
17+阅读 · 2019年4月9日
【深度】行人检测算法
GAN生成式对抗网络
29+阅读 · 2018年6月3日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员