This paper presents a comprehensive workflow for generating and validating a synthetic dataset designed for robotic surgery instrument segmentation. A 3D reconstruction of the Da Vinci robotic arms was refined and animated in Autodesk Maya through a fully automated Python-based pipeline capable of producing photorealistic, labeled video sequences. Each scene integrates randomized motion patterns, lighting variations, and synthetic blood textures to mimic intraoperative variability while preserving pixel-accurate ground truth masks. To validate the realism and effectiveness of the generated data, several segmentation models were trained under controlled ratios of real and synthetic data. Results demonstrate that a balanced composition of real and synthetic samples significantly improves model generalization compared to training on real data only, while excessive reliance on synthetic data introduces a measurable domain shift. The proposed framework provides a reproducible and scalable tool for surgical computer vision, supporting future research in data augmentation, domain adaptation, and simulation-based pretraining for robotic-assisted surgery. Data and code are available at https://github.com/EIDOSLAB/Sintetic-dataset-DaVinci.


翻译:本文提出了一套用于生成和验证机器人手术器械分割合成数据集的完整工作流程。通过对达芬奇机器人手臂进行三维重建,并利用基于Python的全自动流程在Autodesk Maya中进行精细化与动画处理,该流程能够生成具有照片级真实感的标注视频序列。每个场景融合了随机运动模式、光照变化及合成血液纹理,以模拟术中可变性,同时保持像素级精确的真实标注掩码。为验证生成数据的真实性与有效性,研究在真实数据与合成数据的受控比例下训练了多种分割模型。结果表明,与仅使用真实数据训练相比,真实样本与合成样本的均衡组合能显著提升模型的泛化能力,而过度依赖合成数据则会导致可测量的域偏移。所提出的框架为手术计算机视觉提供了一个可复现且可扩展的工具,支持未来在数据增强、域适应以及机器人辅助手术的仿真预训练等方面的研究。数据与代码公开于 https://github.com/EIDOSLAB/Sintetic-dataset-DaVinci。

0
下载
关闭预览

相关内容

生成式人工智能在机器人操作中的应用:综述
专知会员服务
30+阅读 · 2025年3月6日
【新书】合成数据与生成式人工智能
专知会员服务
48+阅读 · 2025年2月9日
人脸相关算法、数据集、文献资源大列表
专知
16+阅读 · 2019年3月16日
【收藏】机器学习的Pytorch实现资源集合【附下载链接】
机器学习算法与Python学习
10+阅读 · 2018年9月8日
机器学习的Pytorch实现资源集合
专知
11+阅读 · 2018年9月1日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
最新内容
世界模型入门:从序贯决策到通用智能体
专知会员服务
1+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
8+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
13+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
15+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
8+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
12+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
17+阅读 · 10月15日
相关VIP内容
生成式人工智能在机器人操作中的应用:综述
专知会员服务
30+阅读 · 2025年3月6日
【新书】合成数据与生成式人工智能
专知会员服务
48+阅读 · 2025年2月9日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员