Conventional hearing aids rely on fixed, frequency-dependent amplification and compression to manage reduced sensitivity, which often fails to provide sufficient listening support in complex environments, such as situations with multiple speakers (the ``cocktail party'' problem). To more comprehensively address the underlying encoding dysfunctions of hearing loss, we introduce the Differentiable Auditory Loop (DAL), a new open-source framework for personalized hearing aid design and fitting. Our first implementation of DAL incorporates CARFAC, a differentiable model of human cochlear function, which we ported to JAX, to optimize a deep neural network to match impaired auditory neural activity patterns with a normal-hearing reference. To build a hearing aid with the fine-grained spectro-temporal signal processing required, we adopt SEANet, a waveform-to-waveform fully convolutional UNet generator. We fine-tune the network by comparing the outputs of a CARFAC model fitted to normal hearing with that of a CARFAC model fitted to match each subject's individual hearing impairment. The comparison is done using loss functions derived from the respective CARFAC neural activity pattern (NAP) outputs and stabilized auditory images (SAIs), the latter providing a 2D representation that captures phase-insensitive temporal structure in the auditory nerve output. Through gradient descent, the SEANet model learns to both denoise the input and compensate for the hearing loss modelled by the impaired CARFAC model. Across neural-representation and signal-fidelity metrics, the DAL-optimized SEANet model outperformed the tested master hearing aid (MHA) baselines. The DAL framework provides a practical path toward model-based, machine-learning-driven personalization of hearing aid signal processing. Next steps include hardware deployment to enable real-world clinical testing.


翻译:传统助听器依赖固定的频率依赖性放大与压缩来补偿听觉灵敏度下降,但在多说话人场景(即"鸡尾酒会"问题)等复杂环境中往往无法提供足够的听觉支持。为更全面地解决听力损失的潜在编码功能障碍,我们提出可微分听觉环路(DAL)——一个用于个性化助听器设计与验配的新型开源框架。DAL的首个实现整合了人体耳蜗功能的可微分模型CARFAC(已移植至JAX平台),通过优化深度神经网络使受损听觉神经活动模式与正常听力参考对齐。为实现所需的精细时频信号处理,我们采用SEANet——一种波形到波形的全卷积UNet生成器。通过比较适配正常听力的CARFAC模型输出与针对每位受试者个体听力损伤调参后的CARFAC模型输出,对网络进行微调。对比过程采用基于各CARFAC神经活动模式(NAP)输出与稳定听觉图像(SAI)的损失函数,后者提供捕捉听觉神经输出中相不敏感时间结构的二维表征。通过梯度下降,SEANet模型学会同时进行输入降噪与补偿受损CARFAC模型模拟的听力损失。在神经表征与信号保真度指标上,DAL优化的SEANet模型均优于测试的主助听器(MHA)基线。DAL框架为基于模型的机器学习驱动型助听器信号处理个性化提供了实用路径。下一步计划包括硬件部署以实现真实临床测试。

0
下载
关闭预览

相关内容

【AIDL专栏】陶建华:深度神经网络与语音(附PPT)
人工智能前沿讲习班
12+阅读 · 2018年7月6日
【AIDL专栏】鲁继文:面向视觉内容理解的深度度量学习
人工智能前沿讲习班
32+阅读 · 2018年5月22日
【好文解析】ICASSP最佳学生论文:深度对抗声学模型训练框架
中国科学院自动化研究所
13+阅读 · 2018年4月28日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员