Tactile sensing provides a promising sensing modality for object pose estimation in manipulation settings where visual information is limited due to occlusion or environmental effects. However, efficiently leveraging tactile data for estimation remains a challenge due to partial observability, with single observations corresponding to multiple possible contact configurations. This limits conventional estimation approaches largely tailored to vision. We propose to address these challenges by learning an inverse tactile sensor model using denoising diffusion. The model is conditioned on tactile observations from a distributed tactile sensor and trained in simulation using a geometric sensor model based on signed distance fields. Contact constraints are enforced during inference through single-step projection using distance and gradient information from the signed distance field. For online pose estimation, we integrate the inverse model with a particle filter through a proposal scheme that combines generated hypotheses with particles from the prior belief. Our approach is validated in simulated and real-world planar pose estimation settings, without access to visual data or tight initial pose priors. We further evaluate robustness to unmodeled contact and sensor dynamics for pose tracking in a box-pushing scenario. Compared to local sampling baselines, the inverse sensor model improves sampling efficiency and estimation accuracy while preserving multimodal beliefs across objects with varying tactile discriminability.


翻译:触觉传感为在遮挡或环境影响导致视觉信息受限的操作场景中估计物体姿态提供了一种有前景的感知方式。然而,由于部分可观测性(单次观测对应多种可能的接触构型),有效利用触觉数据进行估计仍具挑战。这限制了主要为视觉量身定制的传统估计方法。我们提出通过使用去噪扩散学习一个逆触觉传感器模型来应对这些挑战。该模型以分布式触觉传感器的观测为条件,并在仿真中使用基于有向距离场的几何传感器模型进行训练。在推理过程中,通过利用有向距离场提供的距离和梯度信息进行单步投影,以强制执行接触约束。对于在线姿态估计,我们通过一种提议方案将逆模型与粒子滤波器集成,该方案将生成的假设与来自先验信念的粒子相结合。我们的方法在仿真和真实世界的平面姿态估计场景中得到了验证,且无需访问视觉数据或严格的初始姿态先验。我们进一步评估了在推箱场景中,该方法对未建模接触和传感器动态的鲁棒性以进行姿态跟踪。与局部采样基线相比,逆传感器模型提高了采样效率和估计精度,同时在不同触觉可区分性的物体上保持了多模态信念。

0
下载
关闭预览

相关内容

迈向深度基础模型:基于视觉的深度估计最新趋势
专知会员服务
23+阅读 · 2025年7月16日
三维视觉中的扩散模型:综述
专知会员服务
32+阅读 · 2024年10月9日
基于深度学习的物体姿态估计综述
专知会员服务
26+阅读 · 2024年5月15日
最新《深度学习人体姿态估计》综述论文,26页pdf
专知会员服务
40+阅读 · 2020年12月29日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
计算机视觉方向简介 | 人体姿态估计
计算机视觉life
28+阅读 · 2019年6月6日
深度学习人体姿态估计算法综述
AI前线
25+阅读 · 2019年5月19日
交互设计理论:视觉感知、认知摩擦、认知负荷和情境认知
人人都是产品经理
20+阅读 · 2018年5月10日
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
报名 | 让机器读懂你的意图——人体姿态估计入门
人工智能头条
10+阅读 · 2017年9月19日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员