Egocentric Referring Video Object Segmentation (Ego-RVOS) aims to segment the specific object actively involved in a human action, as described by a language query, within first-person videos. This task is critical for understanding egocentric human behavior. However, achieving such segmentation robustly is challenging due to ambiguities inherent in egocentric videos and biases present in training data. Consequently, existing methods often struggle, learning spurious correlations from skewed object-action pairings in datasets and fundamental visual confounding factors of the egocentric perspective, such as rapid motion and frequent occlusions. To address these limitations, we introduce Causal Ego-REferring Segmentation (CERES), a plug-in causal framework that adapts strong, pre-trained RVOS backbones to the egocentric domain. CERES implements dual-modal causal intervention: applying backdoor adjustment principles to counteract language representation biases learned from dataset statistics, and leveraging front-door adjustment concepts to address visual confounding by intelligently integrating semantic visual features with geometric depth information guided by causal principles, creating representations more robust to egocentric distortions. Extensive experiments demonstrate that CERES achieves state-of-the-art performance on Ego-RVOS benchmarks, highlighting the potential of applying causal reasoning to build more reliable models for broader egocentric video understanding.


翻译:第一人称指称视频目标分割旨在根据语言查询的描述,在第一人称视频中分割出主动参与人类行为的特定目标。该任务对于理解第一人称人类行为至关重要。然而,由于第一人称视频固有的模糊性以及训练数据中存在的偏差,实现鲁棒的分割具有挑战性。因此,现有方法常常表现不佳,它们从数据集中偏斜的目标-动作配对学习到虚假关联,并受到第一人称视角的基本视觉混杂因素(如快速运动和频繁遮挡)的影响。为解决这些局限性,我们提出了因果第一人称指称分割,这是一个即插即用的因果框架,可将强大的预训练指称视频目标分割主干网络适配到第一人称领域。该框架实现了双模态因果干预:应用后门调整原则来抵消从数据集统计信息中学到的语言表征偏差;并利用前门调整概念,通过因果原则指导,将语义视觉特征与几何深度信息智能集成,以解决视觉混杂问题,从而创建对第一人称视角畸变更具鲁棒性的表征。大量实验表明,该框架在第一人称指称视频目标分割基准测试中实现了最先进的性能,凸显了应用因果推理为更广泛的第一人称视频理解构建更可靠模型的潜力。

0
下载
关闭预览

相关内容

Python图像处理,366页pdf,Image Operators Image Processing in Python
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员