Foundation Vision Encoders have become essential for a wide range of dense vision tasks. However, their low-resolution spatial feature outputs necessitate feature upsampling to produce the high-resolution modalities required for downstream tasks. In this work, we introduce JAFAR, a lightweight and flexible feature upsampler that enhances the spatial resolution of visual features from any Foundation Vision Encoder to an arbitrary target resolution. JAFAR employs an attention-based module designed to promote semantic alignment between high-resolution queries, derived from low-level image features, and semantically enriched low-resolution keys, using Spatial Feature Transform (SFT) modulation. Notably, despite the absence of high-resolution supervision, we demonstrate that learning at low upsampling ratios and resolutions generalizes remarkably well to significantly higher output scales. Extensive experiments show that JAFAR effectively recovers fine-grained spatial details and consistently outperforms existing feature upsampling methods across a diverse set of downstream tasks. Project page at https://jafar-upsampler.github.io


翻译:基础视觉编码器已成为众多密集视觉任务的核心组件。然而,其低分辨率空间特征输出需要特征上采样以生成下游任务所需的高分辨率模态。本文提出JAFAR——一种轻量级且灵活的特征上采样器,能够将任意基础视觉编码器的视觉特征空间分辨率提升至任意目标分辨率。JAFAR采用基于注意力的模块,通过空间特征变换(SFT)调制,促进源自低级图像特征的高分辨率查询与语义增强的低分辨率键之间的语义对齐。值得注意的是,尽管缺乏高分辨率监督,我们证明在低上采样比和低分辨率下的学习能够显著泛化至更高输出尺度。大量实验表明,JAFAR能有效恢复细粒度空间细节,并在多种下游任务中持续优于现有特征上采样方法。项目页面:https://jafar-upsampler.github.io

0
下载
关闭预览

相关内容

《视频任意分割Segment Anything》系统性综述
专知会员服务
23+阅读 · 2024年8月19日
低清视频也能快速转高清:超分辨率算法TecoGAN
机器之心
13+阅读 · 2019年4月16日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月16日
VIP会员
相关VIP内容
《视频任意分割Segment Anything》系统性综述
专知会员服务
23+阅读 · 2024年8月19日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员