Training and evaluating vision encoders on Multi-Channel Imaging (MCI) data remains challenging as channel configurations vary across datasets, preventing fixed-channel training and limiting reuse of pre-trained encoders on new channel settings. Prior work trains MCI encoders but typically evaluates them via full fine-tuning, leaving probing with frozen pre-trained encoders comparatively underexplored. Existing studies that perform probing largely focus on improving representations, rather than how to best leverage fixed representations for downstream tasks. Although the latter problem has been studied in other domains, directly transferring those strategies to MCI yields weak results, even worse than training from scratch. We therefore propose Channel-Aware Probing (CAP), which exploits the intrinsic inter-channel diversity in MCI datasets by controlling feature flow at both the encoder and probe levels. CAP uses Independent Feature Encoding (IFE) to encode each channel separately, and Decoupled Pooling (DCP) to pool within channels before aggregating across channels. Across three MCI benchmarks, CAP consistently improves probing performance over the default probing protocol, matches fine-tuning from scratch, and largely reduces the gap to full fine-tuning from the same MCI pre-trained checkpoints. Code can be found in https://github.com/umarikkar/CAP.


翻译:在多通道成像(MCI)数据上训练和评估视觉编码器仍然具有挑战性,因为不同数据集之间的通道配置各不相同,这阻碍了固定通道训练,并限制了预训练编码器在新通道设置上的复用。先前的研究虽然训练了MCI编码器,但通常通过完全微调进行评估,相比之下,使用冻结的预训练编码器进行探测的研究则相对不足。现有进行探测的研究主要集中于改进表征,而非如何最佳地利用固定表征进行下游任务。尽管后一问题已在其他领域得到研究,但直接将那些策略迁移到MCI中效果不佳,甚至比从头开始训练更差。因此,我们提出了通道感知探测(CAP),该方法通过在编码器和探测层两个层面控制特征流,利用MCI数据中固有的通道间多样性。CAP使用独立特征编码(IFE)分别编码每个通道,并采用解耦池化(DCP)在跨通道聚合之前先在通道内进行池化。在三个MCI基准测试中,与默认探测协议相比,CAP持续提升了探测性能,与从头开始的微调结果相当,并显著缩小了与基于相同MCI预训练检查点进行完全微调之间的差距。代码可在 https://github.com/umarikkar/CAP 找到。

0
下载
关闭预览

相关内容

视觉通用模型综述
专知会员服务
28+阅读 · 2025年6月12日
《通用多模态模型的视觉指令微调》综述
专知会员服务
40+阅读 · 2023年12月29日
使用多模态语言模型生成图像
专知会员服务
32+阅读 · 2023年8月23日
专知会员服务
50+阅读 · 2021年4月15日
机器学习在信道建模中的应用综述
专知会员服务
29+阅读 · 2021年3月16日
视频中的多目标跟踪【附PPT与视频资料】
人工智能前沿讲习班
30+阅读 · 2018年11月29日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Arxiv
0+阅读 · 1月15日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员