Perception and decision-making in high-speed dynamic scenarios remain challenging for current robots. In contrast, humans and animals can rapidly perceive and make decisions in such environments. Taking table tennis as a typical example, conventional frame-based vision sensors suffer from motion blur, high latency and data redundancy, which can hardly meet real-time, accurate perception requirements. Inspired by the human visual system, event-based perception methods address these limitations through asynchronous sensing, high temporal resolution, and inherently sparse data representations. However, current event-based methods are still restricted to simplified, unrealistic ball-only scenarios. Meanwhile, existing decision-making approaches typically require thousands of interactions with the environment to converge, resulting in significant computational costs. In this work, we present a biologically inspired approach for high-speed table tennis robots, combining event-based perception with sample-efficient learning. On the perception side, we propose an event-based ball detection method that leverages motion cues and geometric consistency, operating directly on asynchronous event streams without frame reconstruction, to achieve robust and efficient detection in real-world rallies. On the decision-making side, we introduce a human-inspired, sample-efficient training strategy that first trains policies in low-speed scenarios, progressively acquiring skills from basic to advanced, and then adapts them to high-speed scenarios, guided by a case-dependent temporally adaptive reward and a reward-threshold mechanism. With the same training episodes, our method improves return-to-target accuracy by 35.8%. These results demonstrate the effectiveness of biologically inspired perception and decision-making for high-speed robotic systems.


翻译:高速动态场景下的感知与决策对当前机器人仍构成挑战。相比之下,人类和动物能在此类环境中快速感知并做出决策。以乒乓球为典型范例,传统基于帧的视觉传感器存在运动模糊、高延迟及数据冗余问题,难以满足实时精确的感知需求。受人类视觉系统启发,基于事件的感知方法通过异步传感、高时间分辨率及固有稀疏数据表征解决了上述局限。然而,当前基于事件的方法仍局限于简化的、不切实际的纯球类场景。同时,现有决策方法通常需要与环境进行数千次交互才能收敛,导致巨大的计算成本。本文提出一种面向高速乒乓球机器人的生物启发方法,融合了基于事件的感知与样本高效学习。在感知层面,我们提出一种利用运动线索与几何一致性的基于事件的球体检测方法,该方法直接对异步事件流进行操作而无需帧重建,从而在真实对打中实现稳健高效的检测。在决策层面,我们引入一种受人类启发的样本高效训练策略:先在低速场景中训练策略,逐步掌握从基础到高级的技能,再通过基于案例的时域自适应奖励机制和奖励阈值引导,将策略迁移至高速场景。在相同训练轮次下,我们的方法将回球目标命中率提升了35.8%。这些结果证明了生物启发的感知与决策在高速机器人系统中的有效性。

0
下载
关闭预览

相关内容

《机器人弹性物体感知技术研究》227页
专知会员服务
18+阅读 · 2025年11月20日
基于人机智能融合技术的态势感知应用研究
专知会员服务
96+阅读 · 2024年2月11日
「强化学习在无人车领域」的应用与展望
专知会员服务
58+阅读 · 2022年12月8日
专知会员服务
66+阅读 · 2021年4月22日
清华大学《高级机器学习》课程
专知
40+阅读 · 2020年7月21日
深度学习在自动驾驶感知领域的应用
AI100
11+阅读 · 2019年3月6日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员