In this work, we introduce the first framework for Motion-aware Event Suppression, which learns to filter events triggered by IMOs and ego-motion in real time. Our model jointly segments IMOs in the current event stream while predicting their future motion, enabling anticipatory suppression of dynamic events before they occur. Our lightweight architecture achieves 173 Hz inference on consumer-grade GPUs with less than 1 GB of memory usage, outperforming previous state-of-the-art methods on the challenging EVIMO benchmark by 67\% in segmentation accuracy while operating at a 53\% higher inference rate. Moreover, we demonstrate significant benefits for downstream applications: our method accelerates Vision Transformer inference by 83\% via token pruning and improves event-based visual odometry accuracy, reducing Absolute Trajectory Error (ATE) by 13\%.


翻译:本研究首次提出了运动感知事件抑制框架,该框架能够实时学习过滤由独立运动物体和自身运动触发的事件。我们的模型在分割当前事件流中独立运动物体的同时,还能预测其未来运动,从而实现对动态事件的预见性抑制。该轻量化架构在消费级GPU上实现了173赫兹的推理速度,内存使用量低于1GB,在具有挑战性的EVIMO基准测试中,其分割精度较先前最优方法提升67%,推理速率提高53%。此外,我们证明了该方法对下游应用具有显著优势:通过令牌剪枝将视觉Transformer推理速度提升83%,同时改进基于事件的视觉里程计精度,使绝对轨迹误差降低13%。

0
下载
关闭预览

相关内容

《防御行动中人机编队的情感认知负荷管理》
专知会员服务
17+阅读 · 2025年11月2日
专知会员服务
129+阅读 · 2021年6月12日
事件知识图谱构建技术与应用综述
专知
25+阅读 · 2020年8月6日
事件知识图谱构建研究进展与趋势
THU数据派
99+阅读 · 2019年12月11日
论文浅尝 | 基于事理图谱的脚本事件预测
开放知识图谱
10+阅读 · 2019年12月10日
论文浅尝 | 采用多层注意力机制的事件检测
开放知识图谱
24+阅读 · 2019年8月24日
Attention!注意力机制模型最新综述(附下载)
数据派THU
36+阅读 · 2019年4月14日
新型相机DVS/Event-based camera的发展及应用
计算机视觉life
16+阅读 · 2019年3月12日
深度学习在自动驾驶感知领域的应用
AI100
11+阅读 · 2019年3月6日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Arxiv
0+阅读 · 2月16日
VIP会员
相关VIP内容
《防御行动中人机编队的情感认知负荷管理》
专知会员服务
17+阅读 · 2025年11月2日
专知会员服务
129+阅读 · 2021年6月12日
相关资讯
事件知识图谱构建技术与应用综述
专知
25+阅读 · 2020年8月6日
事件知识图谱构建研究进展与趋势
THU数据派
99+阅读 · 2019年12月11日
论文浅尝 | 基于事理图谱的脚本事件预测
开放知识图谱
10+阅读 · 2019年12月10日
论文浅尝 | 采用多层注意力机制的事件检测
开放知识图谱
24+阅读 · 2019年8月24日
Attention!注意力机制模型最新综述(附下载)
数据派THU
36+阅读 · 2019年4月14日
新型相机DVS/Event-based camera的发展及应用
计算机视觉life
16+阅读 · 2019年3月12日
深度学习在自动驾驶感知领域的应用
AI100
11+阅读 · 2019年3月6日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员