World action models inherit the predictive capability of world models, enabling action generation to be guided by anticipated future observations. However, they rely primarily on vision and often fail in contact-rich manipulation, where critical cues arise from physical interaction. In this paper, we propose Dream-Tac, a unified Tactile-World Action Model that jointly models actions, future visual observations, and tactile dynamics. Specifically, Dream-Tac introduces (i) contact-gated visuotactile fusion to selectively integrate tactile signals and (ii) a contact-aware attention bias to better regulate cross-modal interactions during manipulation. To support real-time deployment, we further design a dual-level acceleration strategy, reformulating the contact-aware bias to preserve the fused attention path during training and introducing cache-based diffusion acceleration at inference, achieving up to 2.9$\times$ faster training and 1.8$\times$ faster inference. Across six contact-rich manipulation tasks, Dream-Tac improves action accuracy by 31.7\% on average, demonstrating the effectiveness of unified visuotactile world modeling.Code is available at https://github.com/LYFCLOUDFAN/Dream-Tac.


翻译:世界动作模型继承了世界模型的预测能力,使得动作生成能够由预期的未来观测结果引导。然而,它们主要依赖视觉,在接触密集操作中常常失败,因为关键线索来自物理交互。在本文中,我们提出Dream-Tac,一种统一的触觉-世界动作模型,它联合建模动作、未来视觉观测和触觉动力学。具体来说,Dream-Tac引入了(i)接触门控视觉-触觉融合,以选择性整合触觉信号,以及(ii)接触感知注意力偏置,以在操作期间更好地调节跨模态交互。为了支持实时部署,我们进一步设计了一种双层加速策略,将接触感知偏置重新表述以在训练期间保留融合的注意力路径,并在推理时引入基于缓存的扩散加速,实现训练速度提升高达2.9倍,推理速度提升1.8倍。在六项接触密集操作任务中,Dream-Tac平均将动作精度提高了31.7%,证明了统一视觉-触觉世界建模的有效性。代码可在https://github.com/LYFCLOUDFAN/Dream-Tac获取。

0
下载
关闭预览

相关内容

综述 | 世界动作模型:少做梦,多行动
专知会员服务
15+阅读 · 6月23日
世界动作模型: 具身AI的下一个前沿
专知会员服务
23+阅读 · 5月13日
面向具身操作的视觉-语言-动作模型综述
专知会员服务
28+阅读 · 2025年8月23日
走向通用人工智能之路,世界模型为何不可或缺?
专知会员服务
21+阅读 · 2025年7月1日
【ICML2025】通用智能体需要世界模型
专知会员服务
27+阅读 · 2025年6月4日
【MIT博士论文】通过神经物理构建世界模型
专知会员服务
36+阅读 · 2025年4月3日
模型不work怎么办?141页PPT告诉你怎么改模型
CALDERA 一款对手自动模拟工具
黑白之道
20+阅读 · 2019年9月17日
基于关系网络的视觉建模:有望替代卷积神经网络
微软研究院AI头条
10+阅读 · 2019年7月12日
基于模型系统的系统设计
科技导报
10+阅读 · 2019年4月25日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
最新内容
《履带式无人地面战车技术发展现状》
专知会员服务
3+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
3+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
12+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
9+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
6+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
9+阅读 · 7月31日
相关VIP内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
15+阅读 · 6月23日
世界动作模型: 具身AI的下一个前沿
专知会员服务
23+阅读 · 5月13日
面向具身操作的视觉-语言-动作模型综述
专知会员服务
28+阅读 · 2025年8月23日
走向通用人工智能之路,世界模型为何不可或缺?
专知会员服务
21+阅读 · 2025年7月1日
【ICML2025】通用智能体需要世界模型
专知会员服务
27+阅读 · 2025年6月4日
【MIT博士论文】通过神经物理构建世界模型
专知会员服务
36+阅读 · 2025年4月3日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员