In hyperspectral image classification (HSIC), most deep learning models rely on opaque spectral-spatial feature mixing, limiting their interpretability and hindering understanding of internal decision mechanisms. We present physical spectrum-aware white-box mHC, named ES-mHC, a hyper-connection framework that explicitly models interactions among different electromagnetic spectrum groupings (residual stream in mHC) interactions using structured, directional matrices. By separating feature representation from interaction structure, ES-mHC promotes electromagnetic spectrum grouping specialization, reduces redundancy, and exposes internal information flow that can be directly visualized and spatially analyzed. Using hyperspectral image classification as a representative testbed, we demonstrate that the learned hyper-connection matrices exhibit coherent spatial patterns and asymmetric interaction behaviors, providing mechanistic insight into the model internal dynamics. Furthermore, we find that increasing the expansion rate accelerates the emergence of structured interaction patterns. These results suggest that ES-mHC transforms HSIC from a purely black-box prediction task into a structurally transparent, partially white-box learning process.


翻译:在高光谱图像分类领域,大多数深度学习模型依赖于不透明的光谱-空间特征混合机制,限制了模型的可解释性,并阻碍了对内部决策机制的理解。本文提出物理频谱感知的白盒mHC框架(命名为ES-mHC),这是一种通过结构化定向矩阵显式建模不同电磁频谱分组(即mHC中的残差流)间交互作用的超连接架构。通过将特征表示与交互结构分离,ES-mHC促进了电磁频谱分组的专业化表征,减少了特征冗余,并揭示了可直接可视化与空间分析的内部信息流动机制。以高光谱图像分类作为代表性测试平台,我们证明学习得到的超连接矩阵展现出连贯的空间模式与非对称交互行为,为模型内部动态机制提供了机理层面的解释。此外,研究发现扩展率的提升会加速结构化交互模式的形成。这些结果表明,ES-mHC将高光谱图像分类从纯粹的黑盒预测任务转变为结构透明、部分白盒化的学习过程。

0
下载
关闭预览

相关内容

基于图神经网络的高光谱图像分类研究进展
专知会员服务
30+阅读 · 2023年7月23日
雷达图像深度学习模型的可解释性研究与探索
专知会员服务
58+阅读 · 2022年7月16日
专知会员服务
81+阅读 · 2021年5月30日
学者推荐 | 深度学习与高光谱图像分类【内含PPT 福利】
中国图象图形学报
10+阅读 · 2019年12月3日
CVPR2019教程《胶囊网络(Capsule Networks)综述》,附93页PPT
GAN生成式对抗网络
29+阅读 · 2019年6月21日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月19日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员