Signal detection in high dimensions is a critical challenge in data science. While standard methods based on random matrix theory provide sharp detection thresholds for finite-rank perturbations, such as the known Baik-Ben Arous-Péché (BBP) transition, they are often insufficient for realistic data exhibiting nearly continuous (extensive-rank) signal distributions that merge with the noise bulk. In this regime, typically associated with real-world scenarios such as images for computer vision tasks, the signal does not manifest as a clear outlier but as a deformation of the spectral density's geometry. We use the functional renormalisation group (FRG) framework to probe these subtle spectral deformations. Treating the empirical spectrum as an effective field theory, we define a scale-dependent "canonical dimension" that acts as a sensitive order parameter for the spectral geometry. We show that this dimension undergoes a sharp crossover, interpreted as a "dimensional phase transition", at signal-to-noise ratios significantly lower than the standard BBP threshold. This dimensional instability is shown to correlate with a spontaneous symmetry breaking in the effective potential and a deviation of eigenvector statistics from the universal Porter-Thomas distribution, confirming the consistency of the method. Such behaviour aligns with recent theoretical results on the "extensive spike model", where signal information persists inside the noise bulk before any spectral gap opens. We validate our approach on realistic datasets, demonstrating that the FRG flow consistently detects the onset of this bulk deformation. Finally, we explore a formalisation of this methodology for analysing nearly continuous spectra, proposing a heuristic criterion for signal detection and a method to estimate the number of independent noise components based on the stability of these canonical dimensions.


翻译:高维信号检测是数据科学中的核心挑战。基于随机矩阵理论的标准方法虽能为有限秩扰动提供锐利检测阈值(如已知的Baik-Ben Arous-Péché (BBP)相变),但面对真实数据中呈现近连续(广泛秩)信号分布、与噪声体相融合的复杂场景时往往失效。在典型对应计算机视觉图像等现实任务的框架中,信号并非表现为清晰离群值,而是谱密度几何结构的畸变。我们采用功能重整化群(FRG)框架探测这些细微的谱形变。将经验谱视为有效场论,我们定义了尺度依赖的"正则维度",该维度作为谱几何的灵敏序参量。研究表明,该维度在信噪比显著低于标准BBP阈值时会发生尖锐交叉,可解释为"维度相变"。这种维度不稳定性与有效势的自发对称破缺及本征矢统计偏离通用Porter-Thomas分布相一致,验证了方法的自洽性。该行为与近期"广泛尖峰模型"的理论结果吻合——即在谱间隙开启前,信号信息已存在于噪声体内部。我们在真实数据集上验证了该方法,证明FRG流能稳定检测到这种体变形起始点。最后,我们探索了该近连续谱分析方法的数学形式化,提出基于信号检测的启发式判据,以及基于正则维度稳定性估算独立噪声分量数量的方法。

0
下载
关闭预览

相关内容

让 iOS 8 和 OS X Yosemite 无缝切换的一个新特性。 > Apple products have always been designed to work together beautifully. But now they may really surprise you. With iOS 8 and OS X Yosemite, you’ll be able to do more wonderful things than ever before.

Source: Apple - iOS 8
高光谱异常检测方法:综述与比较研究
专知会员服务
7+阅读 · 2025年7月11日
【博士论文】复杂场景下高精度有向目标检测的研究
专知会员服务
52+阅读 · 2023年12月1日
专知会员服务
62+阅读 · 2021年5月11日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
一文概览基于深度学习的超分辨率重建架构
综述:深度学习时代的目标检测算法
极市平台
27+阅读 · 2018年3月17日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
俄乌无人机战争的六大启示
专知会员服务
9+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
6+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
6+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
8+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
14+阅读 · 7月31日
相关VIP内容
高光谱异常检测方法:综述与比较研究
专知会员服务
7+阅读 · 2025年7月11日
【博士论文】复杂场景下高精度有向目标检测的研究
专知会员服务
52+阅读 · 2023年12月1日
专知会员服务
62+阅读 · 2021年5月11日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员