Conversational speech often reveals early signs of cognitive decline, such as dementia and MCI. In the UK, one in four people belongs to an ethnic minority, and dementia prevalence is expected to rise most rapidly among Black and Asian communities. This study examines the trustworthiness of AI models, specifically the presence of bias, in detecting healthy multilingual English speakers among the cognitively impaired cohort, to make these tools clinically beneficial. For experiments, monolingual participants were recruited nationally (UK), and multilingual speakers were enrolled from four community centres in Sheffield and Bradford. In addition to a non-native English accent, multilinguals spoke Somali, Chinese, or South Asian languages, who were further divided into two Yorkshire accents (West and South) to challenge the efficiency of the AI tools thoroughly. Although ASR systems showed no significant bias across groups, classification and regression models using acoustic and linguistic features exhibited bias against multilingual speakers, particularly in memory, fluency, and reading tasks. This bias was more pronounced when models were trained on the publicly available DementiaBank dataset. Moreover, multilinguals were more likely to be misclassified as having cognitive decline. This study is the first of its kind to discover that, despite their strong overall performance, current AI models show bias against multilingual individuals from ethnic minority backgrounds in the UK, and they are also more likely to misclassify speakers with a certain accent (South Yorkshire) as living with a more severe cognitive decline. In this pilot study, we conclude that the existing AI tools are therefore not yet reliable for diagnostic use in these populations, and we aim to address this in future work by developing more generalisable, bias-mitigated models.


翻译:对话语音常能揭示认知衰退的早期迹象,如痴呆症和轻度认知障碍。在英国,四分之一的人口属于少数族裔,且痴呆症患病率预计在黑人及亚裔社区中增长最为迅速。本研究旨在检验人工智能模型在认知障碍人群中识别健康多语种英语使用者时的可信度,特别是其中存在的偏见问题,以使这些工具具备临床实用价值。实验中,单语参与者在全国范围(英国)招募,多语种参与者则从谢菲尔德和布拉德福德的四个社区中心征集。除非母语英语口音外,多语种参与者使用索马里语、汉语或南亚语言,并进一步分为两种约克郡口音(西部与南部),以全面检验人工智能工具的效能。尽管自动语音识别系统在各组间未表现出显著偏见,但使用声学和语言特征的分类与回归模型显示出对多语种参与者的偏见,尤其在记忆、流利度和阅读任务中。当模型基于公开的DementiaBank数据集训练时,这种偏见更为明显。此外,多语种参与者被误判为存在认知衰退的概率更高。本研究首次发现:尽管现有人工智能模型整体性能强劲,但对英国少数族裔背景的多语种个体存在偏见,且更易将特定口音(南约克郡)使用者误判为患有更严重的认知衰退。本试点研究得出结论:现有人工智能工具尚不可靠用于这些群体的诊断应用,未来工作将通过开发更具泛化能力、能缓解偏见的模型来解决这一问题。

0
下载
关闭预览

相关内容

以语音为中心的可信机器学习:隐私、安全和公平综述
专知会员服务
19+阅读 · 2022年12月20日
多语言语音识别声学模型建模方法最新进展
专知会员服务
36+阅读 · 2022年2月7日
中国AI语音识别市场研究报告(附PDF下载)
专知会员服务
78+阅读 · 2020年12月30日
微软机器阅读理解在一场多轮对话挑战中媲美人类
微软丹棱街5号
19+阅读 · 2019年5月14日
书单 | 语音研究进阶指南
微软研究院AI头条
12+阅读 · 2019年3月22日
语音识别的前沿论文,看我们推荐的这4篇
人工智能前沿讲习班
26+阅读 · 2019年1月14日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
一文读懂智能对话系统
数据派THU
16+阅读 · 2018年1月27日
语音识别之--韩语语音识别
微信AI
16+阅读 · 2017年8月2日
微信美女研究员:详解CNN在语音识别中的应用
机械鸡
13+阅读 · 2017年7月28日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关资讯
微软机器阅读理解在一场多轮对话挑战中媲美人类
微软丹棱街5号
19+阅读 · 2019年5月14日
书单 | 语音研究进阶指南
微软研究院AI头条
12+阅读 · 2019年3月22日
语音识别的前沿论文,看我们推荐的这4篇
人工智能前沿讲习班
26+阅读 · 2019年1月14日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
一文读懂智能对话系统
数据派THU
16+阅读 · 2018年1月27日
语音识别之--韩语语音识别
微信AI
16+阅读 · 2017年8月2日
微信美女研究员:详解CNN在语音识别中的应用
机械鸡
13+阅读 · 2017年7月28日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员