Recovering high-frequency components lost to bandwidth constraints is crucial for applications ranging from telecommunications to high-fidelity audio on limited resources. We introduce NDSI-BWE, a new adversarial Band Width Extension (BWE) framework that leverage four new discriminators inspired by nonlinear dynamical system to capture diverse temporal behaviors: a Multi-Resolution Lyapunov Discriminator (MRLD) for determining sensitivity to initial conditions by capturing deterministic chaos, a Multi-Scale Recurrence Discriminator (MS-RD) for self-similar recurrence dynamics, a Multi-Scale Detrended Fractal Analysis Discriminator (MSDFA) for long range slow variant scale invariant relationship, a Multi-Resolution Poincaré Plot Discriminator (MR-PPD) for capturing hidden latent space relationship, a Multi-Period Discriminator (MPD) for cyclical patterns, a Multi-Resolution Amplitude Discriminator (MRAD) and Multi-Resolution Phase Discriminator (MRPD) for capturing intricate amplitude-phase transition statistics. By using depth-wise convolution at the core of the convolutional block with in each discriminators, NDSI-BWE attains an eight-times parameter reduction. These seven discriminators guide a complex-valued ConformerNeXt based genetor with a dual stream Lattice-Net based architecture for simultaneous refinement of magnitude and phase. The genertor leverage the transformer based conformer's global dependency modeling and ConvNeXt block's local temporal modeling capability. Across six objective evaluation metrics and subjective based texts comprises of five human judges, NDSI-BWE establishes a new SoTA in BWE.


翻译:恢复因带宽限制而丢失的高频分量,对于从电信到资源受限环境下的高保真音频等应用至关重要。本文提出了NDSI-BWE,一种全新的对抗式带宽扩展(BWE)框架。该框架借鉴非线性动力系统,设计了四个新型判别器以捕捉不同的时间行为:多分辨率Lyapunov判别器(MRLD),通过捕捉确定性混沌来判定对初始条件的敏感性;多尺度递归图判别器(MS-RD),用于捕捉自相似的递归动力学;多尺度去趋势波动分析判别器(MSDFA),用于捕捉长程缓变尺度不变关系;多分辨率庞加莱图判别器(MR-PPD),用于捕捉隐藏的潜在空间关系;多周期判别器(MPD),用于捕捉周期模式;多分辨率幅度判别器(MRAD)和多分辨率相位判别器(MRPD),用于捕捉复杂的幅度-相位转换统计特性。通过在每个判别器的卷积块核心采用深度可分离卷积,NDSI-BWE实现了八倍的参数缩减。这七个判别器共同引导一个基于复数ConformerNeXt的生成器,该生成器采用双流Lattice-Net架构,同时优化幅度和相位。该生成器利用了基于Transformer的Conformer的全局依赖建模能力以及ConvNeXt块的局部时间建模能力。在六项客观评估指标及包含五位人类评审员的主观测试中,NDSI-BWE在BWE领域确立了新的最先进(SoTA)水平。

0
下载
关闭预览

相关内容

中文版 | 什么是宽带全球卫星通信(WGS)军事卫星网络?
《利用深度学习生成类噪声通信代码》2023最新报告
专知会员服务
36+阅读 · 2023年9月26日
专知会员服务
13+阅读 · 2021年9月13日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
使用 FastAI 和即时频率变换进行音频分类
AI研习社
11+阅读 · 2019年5月9日
BiSeNet:双向分割网络进行实时语义分割
统计学习与视觉计算组
22+阅读 · 2018年8月23日
从R-CNN到Mask R-CNN!
全球人工智能
17+阅读 · 2017年11月13日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
7+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
14+阅读 · 8月10日
《边缘计算关键技术分析及美军作战实践应用》
边缘计算的军事应用
专知会员服务
12+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
13+阅读 · 8月8日
相关VIP内容
中文版 | 什么是宽带全球卫星通信(WGS)军事卫星网络?
《利用深度学习生成类噪声通信代码》2023最新报告
专知会员服务
36+阅读 · 2023年9月26日
专知会员服务
13+阅读 · 2021年9月13日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员