User-defined keyword spotting (KWS) enables personalized voice interaction by detecting user-specified keywords. A key challenge in this task is distinguishing target keywords from phonetically confusable alternatives. To address this challenge, we propose KFC-KWS, a multimodal framework that leverages connectionist temporal classification (CTC)-guided keyframe selection. Specifically, we exploit the peaky posterior distributions of CTC to identify high-confidence phoneme frames, enabling precise alignment across audio, phoneme, and text modalities. These keyframes are then fused with full-utterance representations through cross-attention to capture both local discriminative cues and global contextual information. On LibriPhrase, KFC-KWS achieves the best-balanced performance (98.73% AUC) and substantially outperforms advanced baselines on the challenging hard subset (97.65% AUC and 7.75% EER), demonstrating its effectiveness in discriminating between highly confusable keywords.


翻译:用户定义关键词唤醒(KWS)通过检测用户指定的关键词,实现个性化语音交互。该任务的一个核心挑战在于区分目标关键词与发音相似的混淆候选项。针对这一问题,我们提出KFC-KWS——一种利用连接主义时序分类(CTC)引导关键帧选择的多模态框架。具体而言,我们利用CTC峰值后验分布识别高置信度音素帧,从而实现音频、音素与文本模态间的精准对齐。随后,这些关键帧通过交叉注意力机制与完整语句表征进行融合,以同时捕获局部判别性线索与全局上下文信息。在LibriPhrase数据集上,KFC-KWS取得了最佳均衡性能(AUC达98.73%),并在具有挑战性的困难子集中大幅超越先进基线(AUC达97.65%,等错误率仅7.75%),证明了其在区分高度混淆关键词方面的有效性。

0
下载
关闭预览

相关内容

如何提取关键词?ECIR2022最新《关键词提取》教程,
专知会员服务
30+阅读 · 2022年4月11日
【综述】关键词生成,附10页pdf论文下载
专知会员服务
54+阅读 · 2019年11月20日
语音关键词检测方法综述【附PPT与视频资料】
人工智能前沿讲习班
10+阅读 · 2019年2月2日
一种关键字提取新方法
1号机器人网
21+阅读 · 2018年11月15日
基础|Word2vec的原理介绍
全球人工智能
10+阅读 · 2018年1月4日
推荐算法:Match与Rank模型的交织配合
从0到1
15+阅读 · 2017年12月18日
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月9日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
7+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
8+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
9+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
11+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
6+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关VIP内容
如何提取关键词?ECIR2022最新《关键词提取》教程,
专知会员服务
30+阅读 · 2022年4月11日
【综述】关键词生成,附10页pdf论文下载
专知会员服务
54+阅读 · 2019年11月20日
相关资讯
语音关键词检测方法综述【附PPT与视频资料】
人工智能前沿讲习班
10+阅读 · 2019年2月2日
一种关键字提取新方法
1号机器人网
21+阅读 · 2018年11月15日
基础|Word2vec的原理介绍
全球人工智能
10+阅读 · 2018年1月4日
推荐算法:Match与Rank模型的交织配合
从0到1
15+阅读 · 2017年12月18日
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员