Self-supervised speech models (S3Ms) achieve strong downstream performance, yet their learned representations remain poorly understood under natural and adversarial perturbations. Prior studies rely on representation similarity or global dimensionality, offering limited visibility into local geometric changes. We ask: how do perturbations deform local geometry, and do these shifts track downstream automatic speech recognition (ASR) degradation? To address this, we present GRIDS, a framework using Local Intrinsic Dimensionality (LID) across layer-wise representations in WavLM and wav2vec 2.0. We find that LID increases for all low signal-to noise ratio (SNR) perturbations and diverges at high SNR: benign noise converges toward the clean profile, while adversarial inputs retain early-layer LID elevation. We show LID elevation co-occurs with increased WER, and that layer-wise LID features enable anomaly detection (AUROC 0.78-1.00), opening the door to transcript-free monitoring in S3Ms.


翻译:自监督语音模型(S3Ms)在下游任务中取得了优异性能,但其在自然扰动与对抗性扰动下的学习表示仍缺乏深入理解。现有研究依赖表示相似性或全局维度分析,难以揭示局部几何结构变化。我们提出:扰动如何导致局部几何结构形变?这些形变能否反映下游自动语音识别(ASR)性能的退化?为此,我们提出GRIDS框架,通过分析WavLM和wav2vec 2.0各层表示中的局部固有维度(LID)来探究该问题。实验发现:在低信噪比(SNR)扰动下,所有LID值均增大;而在高SNR条件下出现分化——良性噪声的LID趋近于干净样本分布,而对抗性输入则保持早期层LID的显著升高。我们证实LID升高与WER增加存在共现关系,且基于分层LID特征的异常检测可实现0.78-1.00的AUROC值,为S3Ms的免转录本监控开辟了新途径。

0
下载
关闭预览

相关内容

大型语言模型在预测和异常检测中的应用综述
专知会员服务
70+阅读 · 2024年2月19日
专知会员服务
65+阅读 · 2021年4月11日
最新《弱监督预训练语言模型微调》报告,52页ppt
专知会员服务
38+阅读 · 2020年12月26日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
基于机器学习的KPI自动化异常检测系统
运维帮
13+阅读 · 2017年8月16日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
4+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
5+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
7+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
10+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关VIP内容
大型语言模型在预测和异常检测中的应用综述
专知会员服务
70+阅读 · 2024年2月19日
专知会员服务
65+阅读 · 2021年4月11日
最新《弱监督预训练语言模型微调》报告,52页ppt
专知会员服务
38+阅读 · 2020年12月26日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员