Robust 3D hand reconstruction in egocentric vision is challenging due to depth ambiguity, self-occlusion, and complex hand-object interactions. Prior methods mitigate these issues by scaling training data or adding auxiliary cues, but they often struggle in unseen contexts. We present EgoHandICL, the first in-context learning (ICL) framework for 3D hand reconstruction that improves semantic alignment, visual consistency, and robustness under challenging egocentric conditions. EgoHandICL introduces complementary exemplar retrieval guided by vision-language models (VLMs), an ICL-tailored tokenizer for multimodal context, and a masked autoencoder (MAE)-based architecture trained with hand-guided geometric and perceptual objectives. Experiments on ARCTIC and EgoExo4D show consistent gains over state-of-the-art methods. We also demonstrate real-world generalization and improve EgoVLM hand-object interaction reasoning by using reconstructed hands as visual prompts. Code and data: https://github.com/Nicous20/EgoHandICL


翻译:在以自我为中心的视觉中,由于深度模糊性、自遮挡以及复杂的手-物交互作用,实现鲁棒的三维手部重建具有挑战性。现有方法通过扩大训练数据或添加辅助线索来缓解这些问题,但在未见过的场景中往往表现不佳。我们提出了EgoHandICL,这是首个用于三维手部重建的上下文学习框架,旨在提升在具有挑战性的以自我为中心条件下的语义对齐性、视觉一致性和鲁棒性。EgoHandICL引入了由视觉-语言模型引导的互补范例检索、一个为多模态上下文定制的ICL分词器,以及一个基于掩码自编码器的架构,该架构通过手部引导的几何与感知目标进行训练。在ARCTIC和EgoExo4D数据集上的实验表明,本方法相较于现有最先进方法取得了持续的性能提升。我们还展示了其在真实世界中的泛化能力,并通过将重建的手部作为视觉提示,提升了EgoVLM在手-物交互推理上的表现。代码与数据:https://github.com/Nicous20/EgoHandICL

0
下载
关闭预览

相关内容

【CMU博士论文】学习创建三维内容:几何、外观与物理
专知会员服务
13+阅读 · 2025年9月2日
深度学习的多视角三维重建技术综述
专知会员服务
20+阅读 · 2025年6月7日
【CMU博士论文】开放环境视频中的多人三维重建,184页pdf
专知会员服务
34+阅读 · 2023年10月11日
深度学习背景下的图像三维重建技术进展综述
专知会员服务
38+阅读 · 2023年9月4日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员