Binaural speech enhancement faces a severe trade-off challenge, where state-of-the-art performance is achieved by computationally intensive architectures, while lightweight solutions often come at the cost of significant performance degradation. To bridge this gap, we propose the Global Adaptive Fourier Network (GAF-Net), a lightweight deep complex network that aims to establish a balance between performance and computational efficiency. The GAF-Net architecture consists of three components. First, a dual-feature encoder combining short-time Fourier transform and gammatone features enhances the robustness of acoustic representation. Second, a channel-independent globally adaptive Fourier modulator efficiently captures long-term temporal dependencies while preserving the spatial cues. Finally, a dynamic gating mechanism is implemented to reduce processing artifacts. Experimental results show that GAF-Net achieves competitive performance, particularly in terms of binaural cues (ILD and IPD error) and objective intelligibility (MBSTOI), with fewer parameters and computational cost. These results confirm that GAF-Net provides a feasible way to achieve high-fidelity binaural processing on resource-constrained devices.


翻译:双耳语音增强面临着一个严峻的权衡挑战:最先进的性能通常由计算密集型的架构实现,而轻量级解决方案往往以显著的性能下降为代价。为了弥合这一差距,我们提出了全局自适应傅里叶网络(GAF-Net),这是一种轻量级的深度复数网络,旨在性能与计算效率之间建立平衡。GAF-Net架构由三个组件构成。首先,一个结合短时傅里叶变换和伽马通特征的**双特征编码器**增强了声学表示的鲁棒性。其次,一个**通道独立的全局自适应傅里叶调制器**能够高效捕获长期时间依赖性,同时保持空间线索。最后,实现了一个**动态门控机制**以减少处理伪影。实验结果表明,GAF-Net以更少的参数和计算成本实现了具有竞争力的性能,特别是在双耳线索(ILD和IPD误差)和客观可懂度(MBSTOI)方面。这些结果证实了GAF-Net为在资源受限设备上实现高保真双耳处理提供了一条可行的途径。

0
下载
关闭预览

相关内容

《边缘智能体AI在军事通信网络中的创新框架》
专知会员服务
40+阅读 · 2025年6月9日
多语言语音识别声学模型建模方法最新进展
专知会员服务
36+阅读 · 2022年2月7日
专知会员服务
20+阅读 · 2021年9月14日
轻量级神经网络架构综述
专知会员服务
97+阅读 · 2020年4月29日
当深度强化学习遇见图神经网络
专知
227+阅读 · 2019年10月21日
用于语音识别的数据增强
AI研习社
24+阅读 · 2019年6月5日
语音识别的前沿论文,看我们推荐的这4篇
人工智能前沿讲习班
26+阅读 · 2019年1月14日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员