Understanding the behaviors and intentions of pedestrians is still one of the main challenges for vehicle autonomy, as accurate predictions of their intentions can guarantee their safety and driving comfort of vehicles. In this paper, we address pedestrian crossing prediction in urban traffic environments by linking the dynamics of a pedestrian's skeleton to a binary crossing intention. We introduce TrouSPI-Net: a context-free, lightweight, multi-branch predictor. TrouSPI-Net extracts spatio-temporal features for different time resolutions by encoding pseudo-images sequences of skeletal joints' positions and processes them with parallel attention modules and atrous convolutions. The proposed approach is then enhanced by processing features such as relative distances of skeletal joints, bounding box positions, or ego-vehicle speed with U-GRUs. Using the newly proposed evaluation procedures for two large public naturalistic data sets for studying pedestrian behavior in traffic: JAAD and PIE, we evaluate TrouSPI-Net and analyze its performance. Experimental results show that TrouSPI-Net achieved 0.76 F1 score on JAAD and 0.80 F1 score on PIE, therefore outperforming current state-of-the-art while being lightweight and context-free.


翻译:理解行人的行为和意图仍然是车辆自主的主要挑战之一,因为准确预测行人的意图可以保证其安全和驾驶车辆的舒适度。在本文件中,我们通过将行人的骨骼的动态与二进制跨越的意图联系起来,处理城市交通环境中行人跨行的预测。我们引入了TrouSPI-Net:一个无背景、轻量、多部门预测器。TrouSPI-Net提取的时空特征,用于不同时间分辨率,办法是对骨骼连接的位置和过程的假图像序列进行编码,并同时使用平行的注意模块和疯狂的聚合进行处理。然后,通过将行人的骨骼连接的相对距离、捆绑的箱位置或与U-GRU的自驾驶速度等处理特征,改进了拟议方法。我们利用两个大型公共自然数据组的新拟议评价程序来研究行人交通行为:JAAAD和PIE,我们评估TrousSPI-Net,并分析其性能。实验结果显示,TroSPI-Net在JAAAD和0.81 FIAREl-Sprival Stal Stal Stat 和0.80 FIE-Systeal Stal Stat-Systeal Stat-Systel-Systel-Card-Systemal-fal-Syalmental-fl) 和0.80 F1 F1 F1 F1 F1 F1 F1 Fat-stemal-stement上,我们算。

0
下载
关闭预览

相关内容

专知会员服务
23+阅读 · 2021年9月20日
【CVPR2020】时序分组注意力视频超分
专知会员服务
31+阅读 · 2020年7月1日
CCF C类 | DSAA 2019 诚邀稿件
Call4Papers
6+阅读 · 2019年5月13日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
已删除
将门创投
3+阅读 · 2019年4月25日
CCF A类 | 顶级会议RTSS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年4月17日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
论文笔记 | VAIN: Attentional Multi-agent Predictive Modeling
科技创新与创业
4+阅读 · 2017年12月10日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
Next Item Recommendation with Self-Attention
Arxiv
5+阅读 · 2018年8月25日
Arxiv
8+阅读 · 2018年1月30日
VIP会员
最新内容
2025年大语言模型进展报告
专知会员服务
1+阅读 · 今天13:30
多智能体协作机制
专知会员服务
1+阅读 · 今天13:26
非对称优势:美海军开发低成本反无人机技术
专知会员服务
4+阅读 · 今天4:39
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
6+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
9+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
7+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
14+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
10+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
5+阅读 · 4月24日
Top
微信扫码咨询专知VIP会员