Force signals provide critical interaction cues for contact-rich robotic manipulation. However, existing methods mostly use force as an additional observation modality, without fully exploiting its role in modeling future interaction dynamics or guiding execution-time feedback correction. In this paper, we propose FAWAM, a force-aware world action model that incorporates force information at three levels: perception, prediction, and closed-loop execution. FAWAM first encodes historical 6-axis force/torque signals to modulate action generation, then jointly predicts future actions and end-effector wrenches to explicitly model contact evolution. It further introduces a residual correction module that uses the predicted wrench trajectory as an execution-time reference to refine actions online based on real-time force feedback. Real-world experiments across multiple contact-rich tasks show that FAWAM improves the average success rate by 36.25% over vision-only baselines and 21.25% over existing force-aware baselines, demonstrating the effectiveness of our force-aware framework for robust contact-rich manipulation.


翻译:力信号为富接触机器人操作提供了关键的交互信息。然而,现有方法大多将力仅作为附加观测模态,未能充分利用其在建模未来交互动力学或引导执行时反馈校正中的作用。本文提出了FAWAM,一种包含力信息的三层次(感知、预测和闭环执行)力感知世界动作模型。FAWAM首先对历史六轴力/力矩信号进行编码以调节动作生成,随后联合预测未来动作与末端执行器力螺旋,从而显式建模接触演化。进一步,它引入残差校正模块,将预测的力螺旋轨迹作为执行时参考,基于实时力反馈在线修正动作。跨多个富接触任务的实际实验表明,FAWAM相比纯视觉基线方法平均成功率提升36.25%,相比现有力感知基线方法提升21.25%,证明了所提力感知框架对于鲁棒富接触操作的有效性。

0
下载
关闭预览

相关内容

世界动作模型: 具身AI的下一个前沿
专知会员服务
22+阅读 · 5月13日
智能体化世界建模:基础、能力、规律及展望
专知会员服务
23+阅读 · 4月28日
【博士论文】弥合多模态基础模型与世界模型之间的鸿沟
面向具身操作的视觉-语言-动作模型综述
专知会员服务
28+阅读 · 2025年8月23日
常用的模型集成方法介绍:bagging、boosting 、stacking
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
51+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
Top
微信扫码咨询专知VIP会员