Force sensing is essential for dexterous robot manipulation, but scaling force-aware policy learning is hindered by the heterogeneity of tactile sensors. Differences in sensing principles (e.g., optical vs. magnetic), form factors, and materials typically require sensor-specific data collection, calibration, and model training, thereby limiting generalisability. We propose UniForce, a novel unified tactile representation learning framework that learns a shared latent force space across diverse tactile sensors. UniForce reduces cross-sensor domain shift by jointly modeling inverse dynamics (image-to-force) and forward dynamics (force-to-image), constrained by force equilibrium and image reconstruction losses to produce force-grounded representations. To avoid reliance on expensive external force/torque (F/T) sensors, we exploit static equilibrium and collect force-paired data via direct sensor--object--sensor interactions, enabling cross-sensor alignment with contact force. The resulting universal tactile encoder can be plugged into downstream force-aware robot manipulation tasks with zero-shot transfer, without retraining or finetuning. Extensive experiments on heterogeneous tactile sensors including GelSight, TacTip, and uSkin, demonstrate consistent improvements in force estimation over prior methods, and enable effective cross-sensor coordination in Vision-Tactile-Language-Action (VTLA) models for a robotic wiping task. Code and datasets will be released.


翻译:力传感对于灵巧机器人操作至关重要,但力感知策略学习的规模化受到触觉传感器异构性的阻碍。传感原理(如光学与磁式)、外形尺寸和材料的差异通常需要针对特定传感器进行数据采集、校准和模型训练,从而限制了泛化能力。本文提出UniForce,一种新颖的统一触觉表征学习框架,可在多种触觉传感器上学习共享的潜在力空间。UniForce通过联合建模逆动力学(图像到力)和正动力学(力到图像),并施加力平衡与图像重建损失的约束来生成基于力的表征,从而减少跨传感器域偏移。为避免依赖昂贵的外部力/力矩传感器,我们利用静态平衡原理,通过传感器-物体-传感器直接交互采集力配对数据,实现基于接触力的跨传感器对齐。所得通用触觉编码器可零样本迁移至下游力感知机器人操作任务,无需重新训练或微调。在包括GelSight、TacTip和uSkin在内的异构触觉传感器上进行的大量实验表明,本方法在力估计性能上持续优于现有方法,并在视觉-触觉-语言-动作模型(VTLA)中实现了有效的跨传感器协同,成功应用于机器人擦拭任务。代码与数据集将公开。

0
下载
关闭预览

相关内容

《空基机器人系统的传感器融合技术》美陆军最新58页
专知会员服务
30+阅读 · 2025年4月20日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关VIP内容
《空基机器人系统的传感器融合技术》美陆军最新58页
专知会员服务
30+阅读 · 2025年4月20日
Top
微信扫码咨询专知VIP会员