Conventional 3D human pose estimation relies on first detecting 2D body keypoints and then solving the 2D to 3D correspondence problem.Despite the promising results, this learning paradigm is highly dependent on the quality of the 2D keypoint detector, which is inevitably fragile to occlusions and out-of-image absences.In this paper,we propose a novel Pose Orientation Net (PONet) that is able to robustly estimate 3D pose by learning orientations only, hence bypassing the error-prone keypoint detector in the absence of image evidence. For images with partially invisible limbs, PONet estimates the 3D orientation of these limbs by taking advantage of the local image evidence to recover the 3D pose.Moreover, PONet is competent to infer full 3D poses even from images with completely invisible limbs, by exploiting the orientation correlation between visible limbs to complement the estimated poses,further improving the robustness of 3D pose estimation.We evaluate our method on multiple datasets, including Human3.6M, MPII, MPI-INF-3DHP, and 3DPW. Our method achieves results on par with state-of-the-art techniques in ideal settings, yet significantly eliminates the dependency on keypoint detectors and the corresponding computation burden. In highly challenging scenarios, such as truncation and erasing, our method performs very robustly and yields much superior results as compared to state of the art,demonstrating its potential for real-world applications.


翻译:常规的 3D 人类的外观估计取决于首先检测到 2D 身体键点, 然后解决 2D 至 3D 对应问题。 尽管取得了有希望的结果, 这一学习模式高度依赖于 2D 关键点检测器的质量, 这不可避免地对隔离和图像外缺十分脆弱。 在本文中, 我们提出一个新的 Pose 方向网(PONet), 它只能通过学习方向来强有力地估计 3D 构成, 从而在没有图像证据的情况下绕过易出错的关键点检测器。 对于部分隐形肢体的图像, PONet 利用当地图像证据来恢复 3D 形状, 来估计这些肢体的3D 方向。 Moreover, PONet 有能力将完全从完全隐形的外观图像中推入 3D 。 通过利用可见的四肢之间的定向关系来补充估计的外观, 进一步增强 3D 构成 的稳定性。 我们评估了我们多重数据集的方法, 包括 Human3.6M、 MPII、 MPI- INF-3DHP 3DPP 和 3DPW 3W 的3D 应用方法, 通过利用当地图像 来估计3D 的3D 的3D 来估计, 来估计3D 评估这些三维的3D 的3D 的3D 的3D 的3D 的3D, 通过利用当地图像的精确度 方法,,,, 通过利用当地图像的精确的精确度, 方法, 方法,,,,,,,, 和 和 方法在高度的精确的计算方法,,,, 实现 和高度的精确的精确的,,,,,,,, 方法,,,,,,,,,,,,,,,,,, 在,, 度,,,,,,,,,,,,, 和高度的, 和, 和 高度的,, 高度的,,,,,

0
下载
关闭预览

相关内容

边缘机器学习,21页ppt
专知会员服务
84+阅读 · 2021年6月21日
专知会员服务
46+阅读 · 2020年10月31日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
Python数据分析:过去、现在和未来,52页ppt
专知会员服务
103+阅读 · 2020年3月9日
【新书】Python编程基础,669页pdf
专知会员服务
197+阅读 · 2019年10月10日
AAAI2020 图相关论文集
图与推荐
11+阅读 · 2020年7月15日
跟踪SLAM前沿动态系列之ICCV2019
泡泡机器人SLAM
7+阅读 · 2019年11月23日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Arxiv
27+阅读 · 2020年12月24日
Arxiv
12+阅读 · 2019年1月24日
Arxiv
5+阅读 · 2018年4月13日
VIP会员
最新内容
人工智能赋能无人机:俄乌战争(万字长文)
专知会员服务
5+阅读 · 今天6:56
国外海军作战管理系统与作战训练系统
专知会员服务
2+阅读 · 今天4:16
美军条令《海军陆战队规划流程(2026版)》
专知会员服务
10+阅读 · 今天3:36
《压缩式分布式交互仿真标准》120页
专知会员服务
4+阅读 · 今天3:21
《电子战数据交换模型研究报告》
专知会员服务
6+阅读 · 今天3:13
《基于Transformer的异常舰船导航识别与跟踪》80页
《低数据领域军事目标检测模型研究》
专知会员服务
6+阅读 · 今天2:37
【CMU博士论文】物理世界的视觉感知与深度理解
专知会员服务
10+阅读 · 4月22日
相关资讯
Top
微信扫码咨询专知VIP会员