Lifting the 2D human pose to the 3D pose is an important yet challenging task. Existing 3D pose estimation suffers from 1) the inherent ambiguity between the 2D and 3D data, and 2) the lack of well labeled 2D-3D pose pairs in the wild. Human beings are able to imagine the human 3D pose from a 2D image or a set of 2D body key-points with the least ambiguity, which should be attributed to the prior knowledge of the human body that we have acquired in our mind. Inspired by this, we propose a new framework that leverages the labeled 3D human poses to learn a 3D concept of the human body to reduce the ambiguity. To have consensus on the body concept from 2D pose, our key insight is to treat the 2D human pose and the 3D human pose as two different domains. By adapting the two domains, the body knowledge learned from 3D poses is applied to 2D poses and guides the 2D pose encoder to generate informative 3D "imagination" as embedding in pose lifting. Benefiting from the domain adaptation perspective, the proposed framework unifies the supervised and semi-supervised 3D pose estimation in a principled framework. Extensive experiments demonstrate that the proposed approach can achieve state-of-the-art performance on standard benchmarks. More importantly, it is validated that the explicitly learned 3D body concept effectively alleviates the 2D-3D ambiguity in 2D pose lifting, improves the generalization, and enables the network to exploit the abundant unlabeled 2D data.


翻译:将2D人姿势提升为3D人姿势是一项重要但富有挑战性的任务。 现有的3D人姿势估算是1 1 2D 和 3D 数据之间固有的模糊性, 2 2D 和 2 野生缺乏贴上标签的 2D-3D 相配体。 人类能够想象3D 由 2D 图像或一组 2D 体形的一组两D 键点构成, 这应该归因于我们大脑中已经获得的人类身体先前的知识。 受此启发, 我们提出一个新的框架, 利用 3D 标记的人姿势学习人体的3D 概念来减少模糊性。 要在 2D 的姿势上达成共识, 我们的关键洞察力是将2D 人姿势和 3D 人姿势视为两个不同的领域。 通过对这两个领域进行调整, 3D 所学的人体姿势知识应用到2D 的姿势, 指导 2D 成3D 以生成信息 3D 3D “ 想象 ” 使3D 模糊性 。 从域域调化的3D 概念的角度受益,, 使拟议的框架在不易理解2D 3D 3D 模型上 明确地展示了3D,, 的升级化的模型的模型 明确地展示了3D 。

0
下载
关闭预览

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
专知会员服务
23+阅读 · 2021年9月20日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
已删除
将门创投
5+阅读 · 2019年4月29日
VIP会员
最新内容
【CMU博士论文】物理世界的视觉感知与深度理解
专知会员服务
0+阅读 · 今天14:36
伊朗战争停火期间美军关键弹药状况分析
专知会员服务
5+阅读 · 今天11:13
电子战革命:塑造战场的十年突破(2015–2025)
专知会员服务
4+阅读 · 今天9:19
人工智能即服务与未来战争(印度视角)
专知会员服务
2+阅读 · 今天7:57
《美国战争部2027财年军事人员预算》
专知会员服务
2+阅读 · 今天7:44
伊朗战争中的电子战
专知会员服务
5+阅读 · 今天7:04
大语言模型平台在国防情报应用中的对比
专知会员服务
8+阅读 · 今天3:12
相关资讯
已删除
将门创投
5+阅读 · 2019年4月29日
Top
微信扫码咨询专知VIP会员