Robotic manipulation faces critical challenges in understanding spatial affordances--the "where" and "how" of object interactions--essential for complex manipulation tasks like wiping a board or stacking objects. Existing methods, including modular-based and end-to-end approaches, often lack robust spatial reasoning capabilities. Unlike recent point-based and flow-based affordance methods that focus on dense spatial representations or trajectory modeling, we propose A0, a hierarchical affordance-aware diffusion model that decomposes manipulation tasks into high-level spatial affordance understanding and low-level action execution. A0 leverages the Embodiment-Agnostic Affordance Representation, which captures object-centric spatial affordances by predicting contact points and post-contact trajectories. A0 is pre-trained on 1 million contact points data and fine-tuned on annotated trajectories, enabling generalization across platforms. Key components include Position Offset Attention for motion-aware feature extraction and a Spatial Information Aggregation Layer for precise coordinate mapping. The model's output is executed by the action execution module. Experiments on multiple robotic systems (Franka, Kinova, Realman, and Dobot) demonstrate A0's superior performance in complex tasks, showcasing its efficiency, flexibility, and real-world applicability.


翻译:机器人操作在理解空间可操作性(即物体交互的"位置"与"方式")方面面临关键挑战,这对于擦拭白板或堆叠物体等复杂操作任务至关重要。现有方法(包括模块化方法和端到端方法)通常缺乏鲁棒的空间推理能力。与近期基于点和基于流的可操作性方法(侧重于密集空间表征或轨迹建模)不同,我们提出A0——一种分层可操作性感知扩散模型,该模型将操作任务分解为高层空间可操作性理解和低层动作执行。A0采用具身无关可操作性表征,通过预测接触点及接触后轨迹来捕获以物体为中心的空间可操作性。该模型在100万个接触点数据上进行预训练,并在标注轨迹上微调,从而实现跨平台泛化。其核心组件包括用于运动感知特征提取的位置偏移注意力机制,以及用于精确坐标映射的空间信息聚合层。模型输出由动作执行模块实施。在多种机器人系统(Franka、Kinova、Realman和Dobot)上的实验表明,A0在复杂任务中具有卓越性能,展现了其高效性、灵活性和实际应用价值。

0
下载
关闭预览

相关内容

可解释人工智能的基础
专知会员服务
32+阅读 · 2025年10月26日
生成式人工智能在机器人操作中的应用:综述
专知会员服务
29+阅读 · 2025年3月6日
【伯克利博士论文】机器人机械搜索的操作与感知策略
专知会员服务
16+阅读 · 2022年6月4日
最新《可解释人工智能》概述,50页ppt
专知
12+阅读 · 2021年3月17日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月29日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员