Learning-based methods to understand and model hand-object interactions (HOI) require a large amount of high-quality HOI data. One way to create HOI data is to transfer hand poses from a source object to another based on the objects' geometry. However, current methods for transferring hand poses between objects rely on shape matching, limiting the ability to transfer poses across different categories due to differences in their shapes and sizes. We observe that HOI often involves specific semantic parts of objects, which often have more consistent shapes across categories. In addition, constructing size-invariant correspondences between these parts is important for cross-category transfer. Based on these insights, we introduce a novel method PartHOI for part-based HOI transfer. Using a generalized cylinder representation to parameterize an object parts' geometry, PartHOI establishes a robust geometric correspondence between object parts, and enables the transfer of contact points. Given the transferred points, we optimize a hand pose to fit the target object well. Qualitative and quantitative results demonstrate that our method can generalize HOI transfers well even for cross-category objects, and produce high-fidelity results that are superior to the existing methods.


翻译:基于学习的手-物交互理解与建模方法需要大量高质量的交互数据。一种创建此类数据的方式是基于物体几何形态,将手部姿态从源物体迁移至目标物体。然而,当前的手部姿态跨物体迁移方法依赖于形状匹配,由于不同类别物体在形状与尺寸上的差异,限制了跨类别姿态迁移的能力。我们观察到,手-物交互通常涉及物体的特定语义部件,而这些部件在不同类别间往往具有更一致的形状特征。此外,在这些部件间建立尺寸无关的对应关系对于跨类别迁移至关重要。基于上述观察,我们提出了一种新颖的部件化手-物交互迁移方法PartHOI。该方法采用广义圆柱体表示对物体部件的几何形态进行参数化,从而在物体部件间建立鲁棒的几何对应关系,并实现接触点的迁移。基于迁移后的接触点,我们通过优化手部姿态使其与目标物体良好适配。定性与定量实验结果表明,我们的方法能够实现优异的跨类别手-物交互迁移,所生成的高保真结果优于现有方法。

0
下载
关闭预览

相关内容

专知会员服务
34+阅读 · 2021年10月11日
最新最全最详细中文版-《迁移学习简明手册》pdf分享
专知会员服务
102+阅读 · 2020年9月25日
《迁移学习简明手册》,93页pdf
专知会员服务
137+阅读 · 2019年12月9日
迁移自适应学习最新综述,附21页论文下载
基于Keras进行迁移学习
论智
12+阅读 · 2018年5月6日
【迁移学习】简述迁移学习在深度学习中的应用
产业智能官
15+阅读 · 2018年1月9日
迁移学习在深度学习中的应用
专知
24+阅读 · 2017年12月24日
深度 | 迁移学习全面概述:从基本概念到相关研究
七月在线实验室
15+阅读 · 2017年8月15日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月20日
VIP会员
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员