Open-H-Embodiment Consortium, :,Nigel Nelson,Juo-Tung Chen,Jesse Haworth,Xinhao Chen,Lukas Zbinden,Dianye Huang,Alaa Eldin Abdelaal,Alberto Arezzo,Ayberk Acar,Farshid Alambeigi,Carlo Alberto Ammirati,Yunke Ao,Pablo David Aranda Rodriguez,Soofiyan Atar,Mattia Ballo,Noah Barnes,Federica Barontini,Filip Binkiewicz,Peter Black,Sebastian Bodenstedt,Leonardo Borgioli,Nikola Budjak,Benjamin Calmé,Fabio Carrillo,Nicola Cavalcanti,Changwei Chen,Haoxin Chen,Sihang Chen,Qihan Chen,Zhongyu Chen,Ziyang Chen,Shing Shin Cheng,Meiqing Cheng,Min Cheng,Zih-Yun Sarah Chiu,Xiangyu Chu,Camilo Correa-Gallego,Giulio Dagnino,Anton Deguet,Jacob Delgado,Jonathan C. DeLong,Kaizhong Deng,Alexander Dimitrakakis,Qingpeng Ding,Hao Ding,Giovanni Distefano,Daniel Donoho,Anqing Duan,Marco Esposito,Shane Farritor,Jad Fayad,Zahi Fayad,Mario Ferradosa,Filippo Filicori,Chelsea Finn,Philipp Fürnstahl,Jiawei Ge,Stamatia Giannarou,Xavier Giralt Ludevid,Frederic Giraud,Aditya Amit Godbole,Ken Goldberg,Antony Goldenberg,Diego Granero Marana,Xiaoqing Guo,Tamás Haidegger,Evan Hailey,Pascal Hansen,Ziyi Hao,Kush Hari,Kengo Hayashi,Jonathon Hawkins,Shelby Haworth,Ortrun Hellig,S. Duke Herrell,Zhouyang Hong,Andrew Howe,Junlei Hu,Zhaoyang Jacopo Hu,Ria Jain,Mohammad Rafiee Javazm,Howard Ji,Rui Ji,Jianmin Ji,Zhongliang Jiang,Dominic Jones,Jeffrey Jopling,Britton Jordan,Ran Ju,Michael Kam,Luoyao Kang,Fausto Kang,Siddhartha Kapuria,Peter Kazanzides,Sonika Kiehler,Ethan Kilmer,Ji Woong Kim,Przemysław Korzeniowski,Chandra Kuchi,Nithesh Kumar,Alan Kuntz,Federico Lavagno,Yu Chung Lee,Hao-Chih Lee,Hang Li,Zhen Li,Xiao Liang,Xinxin Lin,Jinsong Lin,Chang Liu,Fei Liu,Pei Liu,Yun-hui Liu,Wanli Liuchen,Eszter Lukács,Sareena Mann,Miles Mannas,Brett Marinelli,Sabina Martyniak,Francesco Marzola,Lorenzo Mazza,Xueyan Mei,Maria Clara Morais,Luigi Muratore,Chetan Reddy Narayanaswamy,Michał Naskręt,David Navarro-Alarcon,Cyrus Neary,Chi Kit Ng,Christopher Nguan,David Noonan,Ki Hwan Oh,Tom Christian Olesch,Allison M. Okamura,Justin Opfermann,Matteo Pescio,Doan Xuan Viet Pham,Tito Porras,Hongliang Ren,Ariel Rodriguez Jimenez,Ferdinando Rodriguez y Baena,Septimiu E. Salcudean,Asmitha Sathya,Preethi Satish,Lalithkumar Seenivasan,Jiaqi Shao,Yiqing Shen,Yu Sheng,Lucy XiaoYang Shi,Zoe Soulé,Stefanie Speidel,Mingwu Su,Jianhao Su,Idris Sunmola,Kristóf Takács,Yunxi Tang,Patrick Thornycroft,Yu Tian,Jordan Thompson,Mehmet K. Turkcan,Mathias Unberath,Pietro Valdastri,Carlos Vives,Quan Vuong,Martin Wagner,Farong Wang,Wei Wang,Lidian Wang,Chung-Pang Wang,Guankun Wang,Junyi Wang,Erqi Wang,Ziyi Wang,Tanner Watts,Wolfgang Wein,Yimeng Wu,Zijian Wu,Hongjun Wu,Luohong Wu,Jie Ying Wu,Junlin Wu,Victoria Wu,Kaixuan Wu,Mateusz Wójcikowski,Yunye Xiao,Nan Xiao,Wenxuan Xie,Hao Yang,Tianqi Yang,Yinuo Yang,Menglong Ye,Ryan S. Yeung,Nural Yilmaz,Chim Ho Yin,Michael Yip,Rayan Younis,Chenhao Yu,Sayem Nazmuz Zaman,Milos Zefran,Han Zhang,Yuelin Zhang,Yidong Zhang,Yanyong Zhang,Xuyang Zhang,Yameng Zhang,Joyce Zhang,Ning Zhong,Peng Zhou,Haoying Zhou,Xiuli Zuo,Nassir Navab,Mahdi Azizian,Sean D. Huver,Axel Krieger
Open-H-Embodiment Consortium, :,Nigel Nelson,Juo-Tung Chen,Jesse Haworth,Xinhao Chen,Lukas Zbinden,Dianye Huang,Alaa Eldin Abdelaal,Alberto Arezzo,Ayberk Acar,Farshid Alambeigi,Carlo Alberto Ammirati,Yunke Ao,Pablo David Aranda Rodriguez,Soofiyan Atar,Mattia Ballo,Noah Barnes,Federica Barontini,Filip Binkiewicz,Peter Black,Sebastian Bodenstedt,Leonardo Borgioli,Nikola Budjak,Benjamin Calmé,Fabio Carrillo,Nicola Cavalcanti,Changwei Chen,Haoxin Chen,Sihang Chen,Qihan Chen,Zhongyu Chen,Ziyang Chen,Shing Shin Cheng,Meiqing Cheng,Min Cheng,Zih-Yun Sarah Chiu,Xiangyu Chu,Camilo Correa-Gallego,Giulio Dagnino,Anton Deguet,Jacob Delgado,Jonathan C. DeLong,Kaizhong Deng,Alexander Dimitrakakis,Qingpeng Ding,Hao Ding,Giovanni Distefano,Daniel Donoho,Anqing Duan,Marco Esposito,Shane Farritor,Jad Fayad,Zahi Fayad,Mario Ferradosa,Filippo Filicori,Chelsea Finn,Philipp Fürnstahl,Jiawei Ge,Stamatia Giannarou,Xavier Giralt Ludevid,Frederic Giraud,Aditya Amit Godbole,Ken Goldberg,Antony Goldenberg,Diego Granero Marana,Xiaoqing Guo,Tamás Haidegger,Evan Hailey,Pascal Hansen,Ziyi Hao,Kush Hari,Kengo Hayashi,Jonathon Hawkins,Shelby Haworth,Ortrun Hellig,S. Duke Herrell,Zhouyang Hong,Andrew Howe,Junlei Hu,Zhaoyang Jacopo Hu,Ria Jain,Mohammad Rafiee Javazm,Howard Ji,Rui Ji,Jianmin Ji,Zhongliang Jiang,Dominic Jones,Jeffrey Jopling,Britton Jordan,Ran Ju,Michael Kam,Luoyao Kang,Fausto Kang,Siddhartha Kapuria,Peter Kazanzides,Sonika Kiehler,Ethan Kilmer,Ji Woong Kim,Przemysław Korzeniowski,Chandra Kuchi,Nithesh Kumar,Alan Kuntz,Federico Lavagno,Yu Chung Lee,Hao-Chih Lee,Hang Li,Zhen Li,Xiao Liang,Xinxin Lin,Jinsong Lin,Chang Liu,Fei Liu,Pei Liu,Yun-hui Liu,Wanli Liuchen,Eszter Lukács,Sareena Mann,Miles Mannas,Brett Marinelli,Sabina Martyniak,Francesco Marzola,Lorenzo Mazza,Xueyan Mei,Maria Clara Morais,Luigi Muratore,Chetan Reddy Narayanaswamy,Michał Naskręt,David Navarro-Alarcon,Cyrus Neary,Chi Kit Ng,Christopher Nguan,David Noonan,Ki Hwan Oh,Tom Christian Olesch,Allison M. Okamura,Justin Opfermann,Matteo Pescio,Doan Xuan Viet Pham,Tito Porras,Hongliang Ren,Ariel Rodriguez Jimenez,Ferdinando Rodriguez y Baena,Septimiu E. Salcudean,Asmitha Sathya,Preethi Satish,Lalithkumar Seenivasan,Jiaqi Shao,Yiqing Shen,Yu Sheng,Lucy XiaoYang Shi,Zoe Soulé,Stefanie Speidel,Mingwu Su,Jianhao Su,Idris Sunmola,Kristóf Takács,Yunxi Tang,Patrick Thornycroft,Yu Tian,Jordan Thompson,Mehmet K. Turkcan,Mathias Unberath,Pietro Valdastri,Carlos Vives,Quan Vuong,Martin Wagner,Farong Wang,Wei Wang,Lidian Wang,Chung-Pang Wang,Guankun Wang,Junyi Wang,Erqi Wang,Ziyi Wang,Tanner Watts,Wolfgang Wein,Yimeng Wu,Zijian Wu,Hongjun Wu,Luohong Wu,Jie Ying Wu,Junlin Wu,Victoria Wu,Kaixuan Wu,Mateusz Wójcikowski,Yunye Xiao,Nan Xiao,Wenxuan Xie,Hao Yang,Tianqi Yang,Yinuo Yang,Menglong Ye,Ryan S. Yeung,Nural Yilmaz,Chim Ho Yin,Michael Yip,Rayan Younis,Chenhao Yu,Sayem Nazmuz Zaman,Milos Zefran,Han Zhang,Yuelin Zhang,Yidong Zhang,Yanyong Zhang,Xuyang Zhang,Yameng Zhang,Joyce Zhang,Ning Zhong,Peng Zhou,Haoying Zhou,Xiuli Zuo,Nassir Navab,Mahdi Azizian,Sean D. Huver,Axel Krieger

Autonomous medical robots hold promise to improve patient outcomes, reduce provider workload, democratize access to care, and enable superhuman precision. However, autonomous medical robotics has been limited by a fundamental data problem: existing medical robotic datasets are small, single-embodiment, and rarely shared openly, restricting the development of foundation models that the field needs to advance. We introduce Open-H-Embodiment, the largest open dataset of medical robotic video with synchronized kinematics to date, spanning more than 50 institutions and multiple robotic platforms including the CMR Versius, Intuitive Surgical's da Vinci, da Vinci Research Kit (dVRK), Rob Surgical BiTrack, Virtual Incision's MIRA, Moon Surgical Maestro, and a variety of custom systems, spanning surgical manipulation, robotic ultrasound, and endoscopy procedures. We demonstrate the research enabled by this dataset through two foundation models. GR00T-H is the first open foundation vision-language-action model for medical robotics, which is the only evaluated model to achieve full end-to-end task completion on a structured suturing benchmark (25% of trials vs. 0% for all others) and achieves 64% average success across a 29-step ex vivo suturing sequence. We also train Cosmos-H-Surgical-Simulator, the first action-conditioned world model to enable multi-embodiment surgical simulation from a single checkpoint, spanning nine robotic platforms and supporting in silico policy evaluation and synthetic data generation for the medical domain. These results suggest that open, large-scale medical robot data collection can serve as critical infrastructure for the research community, enabling advances in robot learning, world modeling, and beyond.


翻译:自主医疗机器人有望改善患者预后、减轻医护工作负担、实现医疗资源普及化并达到超人级精度。然而,自主医疗机器人技术长期受困于基础数据问题:现有医疗机器人数据集规模小、形态单一且极少公开共享,严重制约了该领域亟需的基础模型发展。为此,我们提出Open-H-Embodiment——目前规模最大的开源医疗机器人视频与同步运动学数据集,覆盖全球50余家机构及多种机器人平台(包括CMR Versius、直觉外科达芬奇系统、达芬奇研究套件dVRK、Rob Surgical BiTrack、虚拟切口MIRA、Moon Surgical Maestro及多种定制系统),涉及手术操作、机器人超声及内窥镜等诊疗流程。通过两个基础模型,我们验证了本数据集的研究价值:GR00T-H作为首个面向医疗机器人的开源视觉-语言-动作基础模型,在结构化缝合基准测试中实现全端到端任务完成(成功率25%,其余模型均为0%),并在29步离体缝合序列中达到64%平均成功率;我们同时训练了Cosmos-H-手术模拟器——首个基于单检查点实现跨九种机器人平台的多形态手术仿真模型,支持医学领域的虚拟策略评估与合成数据生成。实验表明,开放大规模医疗机器人数据采集可为研究社区构建关键基础设施,推动机器人学习、世界建模等领域的突破性发展。

0
下载
关闭预览

相关内容

《医疗领域中的具身人工智能综述:技术、应用与机会》
【伯克利博士论文】开放世界机器人之基础模型路径
专知会员服务
37+阅读 · 2024年8月13日
基础模型促进医疗保健:挑战、机遇与未来发展方向
专知会员服务
33+阅读 · 2024年4月5日
大模型如何赋能医学?全科医学人工智能基础模型
专知会员服务
89+阅读 · 2023年4月13日
【AI与医学】多模态机器学习精准医疗健康
资源 | 一份非常全面的开源数据集
黑龙江大学自然语言处理实验室
10+阅读 · 2018年9月7日
下载 ‖ 十大医疗数据集
机械鸡
103+阅读 · 2017年8月5日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
VIP会员
最新内容
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
6+阅读 · 6月25日
网状网络及其在军事领域的运用
专知会员服务
7+阅读 · 6月25日
无美国参与的欧洲战争方式(万字长文)
专知会员服务
8+阅读 · 6月25日
《国防领域敏感性分析白皮书》
专知会员服务
8+阅读 · 6月25日
综述 | 从问答到任务完成:Agent系统与Harness设计
Agentic RL:框架、实践与长程智能体训练
专知会员服务
10+阅读 · 6月24日
重新思考无人机时代的生存能力
专知会员服务
10+阅读 · 6月24日
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
7+阅读 · 6月24日
在人工智能加速决策环境中拓展OODA循环
专知会员服务
10+阅读 · 6月24日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员