Recent deep learning models increasingly rely on depth without structural guarantees on the validity of intermediate representations, rendering early stopping and adaptive computation ill-posed. We address this limitation by formulating a structural requirement for state-space model's scale-consistent latent dynamics across iterative refinement, and derive Fractal of Stationary Transformations (FROST), which enforces a self-similar representation manifold through a fractal inductive bias. Under this geometry, intermediate states correspond to different resolutions of a shared representation, and we provide a geometric analysis establishing contraction and stable convergence across iterations. As a consequence of this scale-consistent structure, halting naturally admits a ranking-based formulation driven by intrinsic feature quality rather than extrinsic objectives. Controlled experiments on ImageNet-100 empirically verify the predicted scale-consistent behavior, showing that adaptive efficiency emerges from the aligned latent geometry.


翻译:当前深度学习模型日益依赖深度,但缺乏对中间表示有效性的结构保证,导致早期停止和自适应计算难以准确定义。为解决这一局限,我们提出了状态空间模型在迭代优化过程中保持尺度一致潜在动力学的结构要求,并推导出平稳变换分形(FROST)。该方法通过分形归纳偏置强制实现自相似表示流形。在此几何框架下,中间状态对应于共享表示的不同分辨率层级,我们通过几何分析证明了迭代过程中的收缩性与稳定收敛性。这种尺度一致结构的直接结果是:停止机制自然地采用基于排序的公式化表达,其驱动力源于内在特征质量而非外部目标。在ImageNet-100上进行的受控实验从经验上验证了预测的尺度一致行为,表明自适应效率源自对齐的潜在几何结构。

0
下载
关闭预览

相关内容

非Transformer不可?最新《状态空间模型(SSM)》综述
专知会员服务
75+阅读 · 2024年4月16日
结构保持图transformer综述
专知会员服务
42+阅读 · 2024年2月19日
Meta-Transformer:多模态学习的统一框架
专知会员服务
59+阅读 · 2023年7月21日
自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
多图带你读懂 Transformers 的工作原理
AI研习社
10+阅读 · 2019年3月18日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员