User-defined keyword spotting (KWS) enables personalized voice interaction by detecting user-specified keywords. A key challenge in this task is distinguishing target keywords from phonetically confusable alternatives. To address this challenge, we propose KFC-KWS, a multimodal framework that leverages connectionist temporal classification (CTC)-guided keyframe selection. Specifically, we exploit the peaky posterior distributions of CTC to identify high-confidence phoneme frames, enabling precise alignment across audio, phoneme, and text modalities. These keyframes are then fused with full-utterance representations through cross-attention to capture both local discriminative cues and global contextual information. On LibriPhrase, KFC-KWS achieves the best-balanced performance (98.73% AUC) and substantially outperforms advanced baselines on the challenging hard subset (97.65% AUC and 7.75% EER), demonstrating its effectiveness in discriminating between highly confusable keywords.


翻译:用户定义关键词唤醒(KWS)通过检测用户指定的关键词,实现个性化语音交互。该任务的一个核心挑战在于区分目标关键词与发音相似的混淆候选项。针对这一问题,我们提出KFC-KWS——一种利用连接主义时序分类(CTC)引导关键帧选择的多模态框架。具体而言,我们利用CTC峰值后验分布识别高置信度音素帧,从而实现音频、音素与文本模态间的精准对齐。随后,这些关键帧通过交叉注意力机制与完整语句表征进行融合,以同时捕获局部判别性线索与全局上下文信息。在LibriPhrase数据集上,KFC-KWS取得了最佳均衡性能(AUC达98.73%),并在具有挑战性的困难子集中大幅超越先进基线(AUC达97.65%,等错误率仅7.75%),证明了其在区分高度混淆关键词方面的有效性。

0
下载
关闭预览

相关内容

如何提取关键词?ECIR2022最新《关键词提取》教程,
专知会员服务
30+阅读 · 2022年4月11日
【综述】关键词生成,附10页pdf论文下载
专知会员服务
54+阅读 · 2019年11月20日
语音关键词检测方法综述【附PPT与视频资料】
人工智能前沿讲习班
10+阅读 · 2019年2月2日
一种关键字提取新方法
1号机器人网
21+阅读 · 2018年11月15日
基础|Word2vec的原理介绍
全球人工智能
10+阅读 · 2018年1月4日
推荐算法:Match与Rank模型的交织配合
从0到1
15+阅读 · 2017年12月18日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月9日
VIP会员
最新内容
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
6+阅读 · 7月28日
《异构人类团队的协作决策过程混合建模研究》
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
5+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
9+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
12+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
7+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
10+阅读 · 7月26日
相关VIP内容
如何提取关键词?ECIR2022最新《关键词提取》教程,
专知会员服务
30+阅读 · 2022年4月11日
【综述】关键词生成,附10页pdf论文下载
专知会员服务
54+阅读 · 2019年11月20日
相关资讯
语音关键词检测方法综述【附PPT与视频资料】
人工智能前沿讲习班
10+阅读 · 2019年2月2日
一种关键字提取新方法
1号机器人网
21+阅读 · 2018年11月15日
基础|Word2vec的原理介绍
全球人工智能
10+阅读 · 2018年1月4日
推荐算法:Match与Rank模型的交织配合
从0到1
15+阅读 · 2017年12月18日
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员