Understanding the neural mechanisms underlying visual computation has long been a central challenge in neuroscience. Recent alignment based approaches have improved the accuracy of decoding visual stimuli from brain activity, yet they provide limited insight into the neural computations that give rise to these improvements. To address this gap, we propose Dual-Tower Image-Neural Alignment (DINA), an interpretable contrastive framework for analyzing population level visual computations in primary visual cortex (V1). DINA jointly trains a biologically motivated dual-tower architecture that aligns visual stimuli and corresponding V1 population responses in a shared latent space at the level of intermediate feature maps, enabling both accurate decoding and direct access to interpretable feature maps. Evaluated on large-scale two-photon calcium imaging data from mouse V1, DINA achieves accurate neural-based decoding while revealing that decoding performance is primarily supported by coarse, low-level visual structure, rather than semantic category information or fine-grained details. Further analysis reveals that alignable feature maps emerge from multiple spatially distributed image regions, capturing both shape and texture cues, and are predominantly reconstructed by sparse subsets of strongly responsive neurons and their functional interactions. Together, these results confirm that, beyond enabling accurate decoding, DINA provides a principled framework for probing the computational mechanisms underlying visual processing in V1.


翻译:[翻译摘要] 理解视觉计算的神经机制一直是神经科学领域的核心挑战。近年来基于对齐的方法提高了从大脑活动解码视觉刺激的准确性,但此类方法对驱动这种改进的神经计算机制提供的见解有限。为填补这一空白,我们提出了双塔图像-神经对齐框架(Dual-Tower Image-Neural Alignment, DINA),这是一个可解释的对比学习框架,用于分析初级视觉皮层(V1)的群体水平视觉计算。DINA联合训练生物启发的双塔架构,在中间特征图层面上将视觉刺激与对应的V1群体响应在共享潜空间中对齐,从而既能实现精确解码,又能直接获取可解释的特征图。基于小鼠V1大规模双光子钙成像数据的评估表明,DINA在实现精准神经解码的同时,揭示了解码性能主要依赖于粗糙的低级视觉结构,而非语义类别信息或精细细节。进一步分析发现,可对齐特征图源自空间分布的多区域图像,同时捕捉形状与纹理线索,并主要通过稀疏子集的强响应神经元及其功能相互作用重建而成。这些结果共同证实,除实现精确解码外,DINA为探究V1视觉处理的计算机制提供了原则性框架。

0
下载
关闭预览

相关内容

深度学习图像匹配:综述与展望
专知会员服务
18+阅读 · 2025年6月6日
112页《人工智能对齐:全面性综述》中文版
专知会员服务
160+阅读 · 2024年2月1日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
38+阅读 · 2021年4月9日
图神经网络表达能力的研究综述,41页pdf
专知会员服务
173+阅读 · 2020年3月10日
【EMNLP2019教程】端到端学习对话人工智能,附237页PPT下载
专知会员服务
72+阅读 · 2019年11月25日
图神经网络入门(三)GAT图注意力网络
图与推荐
10+阅读 · 2020年5月14日
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
0+阅读 · 5月7日
VIP会员
最新内容
《无人地面战车(UGV)的崛起》报告
专知会员服务
5+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
7+阅读 · 7月16日
相关基金
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员