In hyperspectral image classification (HSIC), most deep learning models rely on opaque spectral-spatial feature mixing, limiting their interpretability and hindering understanding of internal decision mechanisms. We present physical spectrum-aware white-box mHC, named ES-mHC, a hyper-connection framework that explicitly models interactions among different electromagnetic spectrum groupings (residual stream in mHC) interactions using structured, directional matrices. By separating feature representation from interaction structure, ES-mHC promotes electromagnetic spectrum grouping specialization, reduces redundancy, and exposes internal information flow that can be directly visualized and spatially analyzed. Using hyperspectral image classification as a representative testbed, we demonstrate that the learned hyper-connection matrices exhibit coherent spatial patterns and asymmetric interaction behaviors, providing mechanistic insight into the model internal dynamics. Furthermore, we find that increasing the expansion rate accelerates the emergence of structured interaction patterns. These results suggest that ES-mHC transforms HSIC from a purely black-box prediction task into a structurally transparent, partially white-box learning process.


翻译:在高光谱图像分类领域,大多数深度学习模型依赖于不透明的光谱-空间特征混合机制,限制了模型的可解释性,并阻碍了对内部决策机制的理解。本文提出物理频谱感知的白盒mHC框架(命名为ES-mHC),这是一种通过结构化定向矩阵显式建模不同电磁频谱分组(即mHC中的残差流)间交互作用的超连接架构。通过将特征表示与交互结构分离,ES-mHC促进了电磁频谱分组的专业化表征,减少了特征冗余,并揭示了可直接可视化与空间分析的内部信息流动机制。以高光谱图像分类作为代表性测试平台,我们证明学习得到的超连接矩阵展现出连贯的空间模式与非对称交互行为,为模型内部动态机制提供了机理层面的解释。此外,研究发现扩展率的提升会加速结构化交互模式的形成。这些结果表明,ES-mHC将高光谱图像分类从纯粹的黑盒预测任务转变为结构透明、部分白盒化的学习过程。

0
下载
关闭预览

相关内容

基于图神经网络的高光谱图像分类研究进展
专知会员服务
30+阅读 · 2023年7月23日
雷达图像深度学习模型的可解释性研究与探索
专知会员服务
58+阅读 · 2022年7月16日
专知会员服务
81+阅读 · 2021年5月30日
学者推荐 | 深度学习与高光谱图像分类【内含PPT 福利】
中国图象图形学报
10+阅读 · 2019年12月3日
CVPR2019教程《胶囊网络(Capsule Networks)综述》,附93页PPT
GAN生成式对抗网络
29+阅读 · 2019年6月21日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月19日
VIP会员
最新内容
超越网格:作战环境对炮兵的影响
专知会员服务
2+阅读 · 5月31日
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
6+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
7+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
19+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
11+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
10+阅读 · 5月30日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员