Objective assessment of source-separation systems still mismatches subjective human perception, especially when leakage and self-distortion interact. We introduce the Perceptual Separation (PS) and Perceptual Match (PM), the first pair of measures that functionally isolate these two factors. Our intrusive method begins with generating a bank of fundamental distortions for each reference waveform signal in the mixture. Distortions, references, and their respective system outputs from all sources are then independently encoded by a pre-trained self-supervised learning model. These representations are aggregated and projected onto a manifold via diffusion maps, which aligns Euclidean distances on the manifold with dissimilarities of the encoded waveforms. On this manifold, the PM measures the Mahalanobis distance from each output to its attributed cluster that consists of its reference and distortions embeddings, capturing self-distortion. The PS accounts for the Mahalanobis distance of the output to the attributed and to the closest non-attributed clusters, quantifying leakage. Both measures are differentiable and granular, operating at a resolution as low as 50 frames per second. We further derive, for both measures, deterministic error radius and non-asymptotic, high-probability confidence intervals (CIs). Experiments on English, Spanish, and music mixtures show that the PS and PM nearly always achieve the highest linear correlation coefficients with human mean-opinion scores than 14 competitors, reaching as high as 86.36% for speech and 87.21% for music. We observe, at worst, an error radius of 1.39% and a probabilistic 95% CI of 12.21% for these coefficients, which improves reliable and informed evaluation. Using mutual information, the measures complement each other most as their values decrease, suggesting they are jointly more informative as system performance degrades.


翻译:源分离系统的客观评估仍与人类主观感知存在偏差,尤其在泄漏与自失真相互作用的场景中。我们提出了感知分离度与感知匹配度——首个在功能上隔离这两个因素的度量对。我们的侵入式方法首先生成混合信号中每个参考波形信号的基础失真库。随后,通过预训练的自监督学习模型对失真信号、参考信号及其对应系统输出进行独立编码。这些表征经聚合后通过扩散映射投影至流形,使得流形上的欧氏距离与编码波形的差异度对齐。在该流形上,感知匹配度通过计算各输出到其归属聚类(包含对应参考信号与失真信号的嵌入)的马氏距离来量化自失真;感知分离度则通过计算输出到归属聚类与最近非归属聚类的马氏距离来量化泄漏。两种度量均具备可微性与细粒度特性,支持低至每秒50帧的分辨率。我们进一步推导出两种度量的确定性误差半径以及非渐近高概率置信区间。在英语、西班牙语及音乐混合信号上的实验表明:相较于14种基线方法,感知分离度与感知匹配度在绝大多数情况下与人类平均意见得分达到最高的线性相关系数,语音和音乐数据分别达到86.36%和87.21%。观测到这些相关系数在最差情况下误差半径为1.39%,概率性95%置信区间为12.21%,从而提升了评估的可靠性与可解释性。通过互信息分析发现,当度量值降低时二者互补性最强,表明在系统性能退化时联合使用能提供更全面的信息。

0
下载
关闭预览

相关内容

【NeurIPS2020】基于能量的分布外检测
专知会员服务
14+阅读 · 2020年10月10日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月12日
VIP会员
相关VIP内容
【NeurIPS2020】基于能量的分布外检测
专知会员服务
14+阅读 · 2020年10月10日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员