Regression-based methods have recently shown promising results in reconstructing human meshes from monocular images. By directly mapping from raw pixels to model parameters, these methods can produce parametric models in a feed-forward manner via neural networks. However, minor deviation in parameters may lead to noticeable misalignment between the estimated meshes and image evidences. To address this issue, we propose a Pyramidal Mesh Alignment Feedback (PyMAF) loop to leverage a feature pyramid and rectify the predicted parameters explicitly based on the mesh-image alignment status in our deep regressor. In PyMAF, given the currently predicted parameters, mesh-aligned evidences will be extracted from finer-resolution features accordingly and fed back for parameter rectification. To reduce noise and enhance the reliability of these evidences, an auxiliary pixel-wise supervision is imposed on the feature encoder, which provides mesh-image correspondence guidance for our network to preserve the most related information in spatial features. The efficacy of our approach is validated on several benchmarks, including Human3.6M, 3DPW, LSP, and COCO, where experimental results show that our approach consistently improves the mesh-image alignment of the reconstruction. Our code is publicly available at https://hongwenzhang.github.io/pymaf .


翻译:以回归为基础的方法最近显示了从单视图像中重建人类乳房的可喜结果。通过直接绘制原始像素到模型参数的原始像素到模型参数,这些方法能够通过神经网络以进化方式生成参数模型,然而,参数的细微偏差可能导致估计的乳头和图像证据之间明显不协调。为解决这一问题,我们提议采用一个Pyramidal Mesh 匹配反馈(PyMAF)环,以利用一个功能金字塔,并纠正根据我们深深反射器的网视图像调整状态明确预测的参数。在PyMAF中,根据目前预测的参数,将相应地从精细分辨率特征中提取与网相匹配的证据,并将其反馈用于参数校正。为减少噪音和提高这些证据的可靠性,对地标设置了一个辅助像素精准的监视器,为我们的网络提供网象图像通信指导,以保存空间特征中最相关的信息。我们的方法的效力在几个基准上得到验证,包括人文3.6M、3DPW、LSP和CO等校准证据的校准证据,用于参数校准的校准方法,在不断显示我们的实验结果。

0
下载
关闭预览

相关内容

Pyramid is a small, fast, down-to-earth Python web application development framework.
专知会员服务
119+阅读 · 2020年7月22日
专知会员服务
61+阅读 · 2020年3月19日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
已删除
将门创投
5+阅读 · 2017年10月20日
Arxiv
0+阅读 · 2021年5月22日
VIP会员
最新内容
无人机自主控制与人工智能:系统性综述
专知会员服务
10+阅读 · 今天7:25
巡飞弹与反无人机系统——现代战场的两大支柱
专知会员服务
3+阅读 · 今天6:54
《打造“黄金舰队”》57页报告
专知会员服务
3+阅读 · 今天6:52
《北约数字教官网络发展路径》128页报告
专知会员服务
2+阅读 · 今天6:33
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
7+阅读 · 6月25日
网状网络及其在军事领域的运用
专知会员服务
7+阅读 · 6月25日
无美国参与的欧洲战争方式(万字长文)
专知会员服务
8+阅读 · 6月25日
《国防领域敏感性分析白皮书》
专知会员服务
9+阅读 · 6月25日
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
10+阅读 · 6月24日
Agentic RL:框架、实践与长程智能体训练
专知会员服务
10+阅读 · 6月24日
相关VIP内容
专知会员服务
119+阅读 · 2020年7月22日
专知会员服务
61+阅读 · 2020年3月19日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
Top
微信扫码咨询专知VIP会员