Rich contact perception is crucial for robotic manipulation, yet traditional tactile skins remain expensive and complex to integrate. This paper presents a scalable alternative: high-accuracy whole-body touch localization via vibro-acoustic sensing. By equipping a robotic hand with seven low-cost piezoelectric microphones and leveraging an Audio Spectrogram Transformer, we decode the vibrational signatures generated during physical interaction. Extensive evaluation across stationary and dynamic tasks reveals a localization error of under 5 mm in static conditions. Furthermore, our analysis highlights the distinct influence of material properties: stiff materials (e.g., metal) excel in impulse response localization due to sharp, high-bandwidth responses, whereas textured materials (e.g., wood) provide superior friction-based features for trajectory tracking. The system demonstrates robustness to the robot's own motion, maintaining effective tracking even during active operation. Our primary contribution is demonstrating that complex physical contact dynamics can be effectively decoded from simple vibrational signals, offering a viable pathway to widespread, affordable contact perception in robotics. To accelerate research, we provide our full datasets, models, and experimental setups as open-source resources.


翻译:丰富的接触感知对于机器人操作至关重要,然而传统的触觉皮肤仍然成本高昂且集成复杂。本文提出一种可扩展的替代方案:通过振动声学传感实现高精度全身接触定位。我们为机器人手配备七个低成本压电麦克风,并利用音频频谱图Transformer,解码物理交互过程中产生的振动特征。在静态和动态任务中的广泛评估表明,系统在静态条件下的定位误差小于5毫米。此外,我们的分析揭示了材料特性的显著影响:刚性材料(如金属)因其尖锐的高带宽响应而在脉冲响应定位中表现优异,而纹理化材料(如木材)则为轨迹跟踪提供了更优的基于摩擦的特征。该系统对机器人自身运动具有鲁棒性,即使在主动操作期间也能保持有效的跟踪。我们的主要贡献在于证明了复杂的物理接触动力学可以从简单的振动信号中被有效解码,为机器人领域实现广泛且经济实惠的接触感知提供了一条可行途径。为加速相关研究,我们将完整的数据集、模型及实验设置作为开源资源提供。

0
下载
关闭预览

相关内容

人形机器人产业系列报告,67页ppt
专知会员服务
51+阅读 · 2024年1月2日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
【紫冬分享】移动机器人视觉里程计综述
中国科学院自动化研究所
12+阅读 · 2018年10月31日
【前沿】凌空手势识别综述
科技导报
12+阅读 · 2017年8月17日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员