State Space Models (SSMs) have emerged as efficient alternatives to attention for vision tasks, offering lineartime sequence processing with competitive accuracy. Vision SSMs, however, require serializing 2D images into 1D token sequences along a predefined scan order, a factor often overlooked. We show that scan order critically affects performance by altering spatial adjacency, fracturing object continuity, and amplifying degradation under geometric transformations such as rotation. We present Partial RIng Scan Mamba (PRISMamba), a rotation-robust traversal that partitions an image into concentric rings, performs order-agnostic aggregation within each ring, and propagates context across rings through a set of short radial SSMs. Efficiency is further improved via partial channel filtering, which routes only the most informative channels through the recurrent ring pathway while keeping the rest on a lightweight residual branch. On ImageNet-1K, PRISMamba achieves 84.5% Top-1 with 3.9G FLOPs and 3,054 img/s on A100, outperforming VMamba in both accuracy and throughput while requiring fewer FLOPs. It also maintains performance under rotation, whereas fixed-path scans drop by 1~2%. These results highlight scan-order design, together with channel filtering, as a crucial, underexplored factor for accuracy, efficiency, and rotation robustness in Vision SSMs. Code will be released upon acceptance.


翻译:状态空间模型(SSMs)已成为视觉任务中注意力机制的高效替代方案,通过线性时间序列处理实现了具有竞争力的精度。然而,视觉SSMs需要将二维图像沿预定义的扫描顺序序列化为一维标记序列,这一因素常被忽视。我们证明扫描顺序通过改变空间邻接性、破坏对象连续性以及在旋转等几何变换下加剧性能退化,对模型性能产生关键影响。本文提出部分环形扫描Mamba(PRISMamba),这是一种具有旋转鲁棒性的遍历方法:将图像划分为同心圆环,在每个环内执行顺序无关的聚合操作,并通过一组短程径向SSMs在环间传播上下文信息。通过部分通道过滤机制进一步提升了效率——仅将信息量最高的通道路由至循环环形路径,其余通道则保留在轻量级残差分支中。在ImageNet-1K数据集上,PRISMamba以3.9G FLOPs的计算量和A100显卡上3,054 img/s的吞吐量实现了84.5%的Top-1准确率,在精度和吞吐量上均优于VMamba且所需FLOPs更少。该模型在旋转条件下仍能保持性能,而固定路径扫描方法的性能会下降1~2%。这些结果表明,扫描顺序设计与通道过滤共同构成了影响视觉SSMs精度、效率和旋转鲁棒性的关键且尚未充分探索的因素。代码将在论文录用后开源。

0
下载
关闭预览

相关内容

《遥感时序视觉语言模型》全面综述
专知会员服务
30+阅读 · 2024年12月4日
非Transformer不可?最新《状态空间模型(SSM)》综述
专知会员服务
75+阅读 · 2024年4月16日
基于关系网络的视觉建模:有望替代卷积神经网络
微软研究院AI头条
10+阅读 · 2019年7月12日
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
76+阅读 · 2018年10月8日
深度学习的目标检测技术演进:R-CNN、Fast R-CNN、Faster R-CNN
数据挖掘入门与实战
13+阅读 · 2018年4月6日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员