Learning dexterous bimanual manipulation policies critically depends on large-scale, high-quality demonstrations, yet current paradigms face inherent trade-offs: teleoperation provides physically grounded data but is prohibitively labor-intensive, while simulation-based synthesis scales efficiently but suffers from sim-to-real gaps. We present BiDemoSyn, a framework that synthesizes contact-rich, physically feasible bimanual demonstrations from a single real-world example. The key idea is to decompose tasks into invariant coordination blocks and variable, object-dependent adjustments, then adapt them through vision-guided alignment and lightweight trajectory optimization. This enables the generation of thousands of diverse and feasible demonstrations within several hours, without repeated teleoperation or reliance on imperfect simulation. Across six dual-arm tasks, we show that policies trained on BiDemoSyn data generalize robustly to novel object poses and shapes, significantly outperforming recent strong baselines. Beyond the one-shot setting, BiDemoSyn naturally extends to few-shot-based synthesis, improving object-level diversity and out-of-distribution generalization while maintaining strong data efficiency. Moreover, policies trained on BiDemoSyn data exhibit zero-shot cross-embodiment transfer to new robotic platforms, enabled by object-centric observations and a simplified 6-DoF end-effector action representation that decouples policies from embodiment-specific dynamics. By bridging the gap between efficiency and real-world fidelity, BiDemoSyn provides a scalable path toward practical imitation learning for complex bimanual manipulation without compromising physical grounding.


翻译:学习灵巧的双臂操作策略高度依赖于大规模、高质量的示范数据,然而当前范式面临固有矛盾:遥操作虽能提供物理上真实可靠的数据,但人力成本过高;基于仿真的数据合成虽效率高,却受限于仿真到现实的迁移落差。我们提出BiDemoSyn框架,该框架能从单个真实世界示范中合成具有物理可行性且富含接触信息的双臂操作示范。其核心思想是将任务分解为不变的协调模块与可变的物体相关调整,再通过视觉引导对齐与轻量级轨迹优化实现适配。该方法可在数小时内生成数千个多样化且可行的示范数据,无需重复遥操作或依赖不完美的仿真环境。在六项双臂任务中,基于BiDemoSyn数据训练的策略能稳健泛化至全新的物体位姿与形状,显著超越近期强基线模型。除单次示范场景外,BiDemoSyn还能自然扩展至少样本合成范式,在保持高数据效率的同时提升物体多样性及分布外泛化能力。更重要的是,基于BiDemoSyn数据训练的策略展现出零样本跨实体迁移能力——通过采用以物体为中心的观测表达与简化的六自由度末端执行器动作表征,策略与特定实体动力学实现解耦。通过弥合效率与真实世界保真度之间的鸿沟,BiDemoSyn为复杂双臂操作的实用化模仿学习开辟了一条不牺牲物理根基的可扩展路径。

0
下载
关闭预览

相关内容

【ETHZ博士论文】《人类动作与交互的生成式建模》
专知会员服务
16+阅读 · 2025年3月28日
【ETHZ博士论文】真实世界约束下的2D和3D生成模型
专知会员服务
25+阅读 · 2024年9月2日
几种典型的虚实融合技术发展研究
专知会员服务
94+阅读 · 2023年12月17日
【数字孪生】超棒PPT解读Digital Twin十大领域应用!
产业智能官
103+阅读 · 2019年3月26日
BiSeNet:双向分割网络进行实时语义分割
统计学习与视觉计算组
22+阅读 · 2018年8月23日
可视化多维数据的艺术
论智
10+阅读 · 2018年1月23日
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
VIP会员
相关主题
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
1+阅读 · 今天15:03
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
0+阅读 · 今天14:31
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
相关基金
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员