The ability to grasp objects, signal with gestures, and share emotion through touch all stem from the unique capabilities of human hands. Yet creating high-quality personalized hand avatars from images remains challenging due to complex geometry, appearance, and articulation, particularly under unconstrained lighting and limited views. Progress has also been limited by the lack of datasets that jointly provide accurate 3D geometry, high-resolution multiview imagery, and a diverse population of subjects. To address this, we present PALM, a large-scale dataset comprising 13k high-quality hand scans from 263 subjects and 90k multi-view images, capturing rich variation in skin tone, age, and geometry. To show its utility, we present a baseline PALM-Net, a multi-subject prior over hand geometry and material properties learned via physically based inverse rendering, enabling realistic, relightable single-image hand avatar personalization. PALM's scale and diversity make it a valuable real-world resource for hand modeling and related research.


翻译:人类抓握物体、通过手势交流以及通过触摸传递情感的能力,均源于手部独特的功能。然而,由于手部具有复杂的几何结构、外观和关节活动特性,尤其是在非约束光照和有限视角条件下,从图像创建高质量个性化手部化身仍然具有挑战性。此外,由于缺乏能够同时提供精确三维几何、高分辨率多视角图像以及多样化主体群体的数据集,相关研究进展也受到限制。为此,我们提出了PALM,一个大规模数据集,包含来自263位主体的1.3万个高质量手部扫描数据和9万张多视角图像,涵盖了肤色、年龄和几何形状的丰富变化。为展示其应用价值,我们提出了基线模型PALM-Net,这是一个通过基于物理的逆向渲染学习得到的、关于手部几何与材质属性的多主体先验模型,能够实现真实、可重光照的单图像手部化身个性化。PALM的规模与多样性使其成为手部建模及相关研究领域宝贵的真实世界资源。

0
下载
关闭预览

相关内容

Palm(官方中文名称奔迈)是一种掌上电脑硬件的品牌名称,采用名为 Palm OS 的操作系统。
专知会员服务
34+阅读 · 2021年10月11日
基于深度学习的手语识别综述
专知会员服务
47+阅读 · 2020年5月18日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
机器学习必备手册
机器学习研究会
19+阅读 · 2017年10月24日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
【前沿】凌空手势识别综述
科技导报
12+阅读 · 2017年8月17日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
专知会员服务
34+阅读 · 2021年10月11日
基于深度学习的手语识别综述
专知会员服务
47+阅读 · 2020年5月18日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员