Vision-Language-Action (VLA) models benefit from large-scale and diverse embodied data, yet scaling robot trajectory collection is costly and labor-intensive. Recent advances show that large-scale egocentric human videos provide complementary real-world supervision in pretraining. However, joint training on human and robot data remains challenging due to divergences in action spaces, embodiment structures, temporal dynamics, and supervision quality. We introduce ACE-EGO-0, a unified VLA pretraining framework jointly leveraging heterogeneous data sources. To extract large-scale pretraining supervision from egocentric human videos, we build a scalable egocentric video-to-action pipeline that converts raw human videos into robot-format pseudo-action trajectories. To make these labels comparable with robot demonstrations, ACE-EGO-0 uses a unified action representation based on camera-space actions, morphology conditioning, and time-aligned action chunking. To robustly leverage noisy pseudo-action supervision from egocentric human videos, we formulate a reliability-aware training objective with a human auxiliary loss that concentrates supervision on reliable signals. We instantiate ACE-EGO-0 on 4.53K hours of robot and simulation data, together with 1.48K hours of pseudo-action-labeled egocentric human data. Experiments show that incorporating large-scale human supervision under reliability-aware weighting consistently improves both unified joint pretraining and supervised fine-tuning. ACE-EGO-0 achieves state-of-the-art performance on RoboCasa GR1 TableTop and RoboTwin 2.0, while demonstrating strong transfer to real-world bimanual manipulation.


翻译:视觉-语言-动作(VLA)模型受益于大规模多元具身数据,但机器人轨迹数据的规模化采集成本高昂且劳动密集。近期进展表明,大规模自我中心人类视频能为预训练提供互补的真实世界监督信号。然而,由于动作空间、具身结构、时序动态与监督质量的差异,人类与机器人数据的联合训练仍具挑战性。本文提出ACE-EGO-0,一个统一化的VLA预训练框架,可联合利用异构数据源。为从自我中心人类视频中提取大规模预训练监督信号,我们构建了一套可扩展的自我中心视频到动作流水线,将原始人类视频转化为机器人格式的伪动作轨迹。为使这些标签与机器人示范数据可比较,ACE-EGO-0采用基于相机空间动作、形态条件约束与时序对齐动作分段的统一化动作表征。为稳健利用来自自我中心人类视频的含噪伪动作监督信号,我们设计了可靠性感知的训练目标与人类辅助损失函数,将监督信号聚焦于可靠信号。我们在4.53K小时机器人及仿真数据与1.48K小时伪动作标注自我中心人类数据上实例化ACE-EGO-0。实验表明,在可靠性感知加权机制下引入大规模人类监督信号,可一致提升统一化联合预训练与监督微调性能。ACE-EGO-0在RoboCasa GR1桌面操作与RoboTwin 2.0任务上达到最优性能,并展现出对真实世界双臂操作的强迁移能力。

0
下载
关闭预览

相关内容

【综述】 机器人学习中的世界模型:全面综述
专知会员服务
22+阅读 · 5月4日
面向具身操作的高效视觉–语言–动作模型:系统综述
专知会员服务
28+阅读 · 2025年10月22日
视觉-语言-动作(VLA)模型的前世今生
专知会员服务
22+阅读 · 2025年8月29日
VILA-U:一个融合视觉理解与生成的统一基础模型
专知会员服务
21+阅读 · 2024年9月9日
绝对干货!NLP预训练模型:从transformer到albert
新智元
15+阅读 · 2019年11月10日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
《人工智能赋能的适应性多功能电磁战》
专知会员服务
3+阅读 · 今天15:47
俄乌战场实验室:全面战争如何重塑现代作战
专知会员服务
3+阅读 · 今天15:30
2026年美空军协会会议上的无人机系统趋势
专知会员服务
7+阅读 · 9月28日
反制无人机:乌克兰提供的五点启示
专知会员服务
12+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
10+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
8+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
13+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
16+阅读 · 9月22日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员