Signal detection in high dimensions is a critical challenge in data science. While standard methods based on random matrix theory provide sharp detection thresholds for finite-rank perturbations, such as the known Baik-Ben Arous-Péché (BBP) transition, they are often insufficient for realistic data exhibiting nearly continuous (extensive-rank) signal distributions that merge with the noise bulk. In this regime, typically associated with real-world scenarios such as images for computer vision tasks, the signal does not manifest as a clear outlier but as a deformation of the spectral density's geometry. We use the functional renormalisation group (FRG) framework to probe these subtle spectral deformations. Treating the empirical spectrum as an effective field theory, we define a scale-dependent "canonical dimension" that acts as a sensitive order parameter for the spectral geometry. We show that this dimension undergoes a sharp crossover, interpreted as a "dimensional phase transition", at signal-to-noise ratios significantly lower than the standard BBP threshold. This dimensional instability is shown to correlate with a spontaneous symmetry breaking in the effective potential and a deviation of eigenvector statistics from the universal Porter-Thomas distribution, confirming the consistency of the method. Such behaviour aligns with recent theoretical results on the "extensive spike model", where signal information persists inside the noise bulk before any spectral gap opens. We validate our approach on realistic datasets, demonstrating that the FRG flow consistently detects the onset of this bulk deformation. Finally, we explore a formalisation of this methodology for analysing nearly continuous spectra, proposing a heuristic criterion for signal detection and a method to estimate the number of independent noise components based on the stability of these canonical dimensions.


翻译:高维信号检测是数据科学中的关键挑战。尽管基于随机矩阵理论的标准方法(如著名的Baik-Ben Arous-Péché(BBP)相变)能为有限秩扰动提供清晰的检测阈值,但对于真实的近连续(广延秩)信号分布(此类分布与噪声主体相融合)数据,这些方法通常不够充分。在此类与计算机视觉任务中的图像等实际场景相关的体系中,信号并非表现为清晰的离群点,而是谱密度几何结构的形变。我们利用泛函重整化群(FRG)框架来探测这些微妙的谱形变。将经验谱视为有效场论后,我们定义一个依赖于尺度的“规范维度”,它作为谱几何的灵敏序参量。我们证明,在远低于标准BBP阈值的信噪比处,该维度经历一次尖锐的交叉,可被解释为“维度相变”。这种维度不稳定性与有效势的自发对称性破缺以及本征向量统计偏离通用Porter-Thomas分布相关联,从而验证了该方法的自洽性。该行为与近期关于“广延尖峰模型”的理论结果一致——在谱隙开启之前,信号信息已存在于噪声主体内部。我们在真实数据集上验证了我们的方法,证明FRG流能持续检测到这种主体形变的起始点。最后,我们探索了该方法用于分析近连续谱的形式化框架,提出了一种基于信号检测的启发式准则,以及基于这些规范维度稳定性来估计独立噪声成分数的方法。

0
下载
关闭预览

相关内容

高光谱异常检测方法:综述与比较研究
专知会员服务
7+阅读 · 2025年7月11日
【博士论文】复杂场景下高精度有向目标检测的研究
专知会员服务
52+阅读 · 2023年12月1日
【AAAI2023】用于图对比学习的谱特征增强
专知
20+阅读 · 2022年12月11日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
异常检测论文大列表:方法、应用、综述
专知
126+阅读 · 2019年7月15日
深度学习在推荐系统中的应用综述(最全)
七月在线实验室
17+阅读 · 2018年5月5日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
VIP会员
相关主题
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
4+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
4+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
高光谱异常检测方法:综述与比较研究
专知会员服务
7+阅读 · 2025年7月11日
【博士论文】复杂场景下高精度有向目标检测的研究
专知会员服务
52+阅读 · 2023年12月1日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员