Real-time voice agents must decide when to speak, recover from disruption, and act only when the conversation requires it. But currently their evaluation is fragmented and is split across speech quality, turn-taking, tool calling, and task completion. We review 136 primary works published up to October 2, 2026, and code each on two axes: the capability an evaluation exercises, namely timing, recovery, grounded outcome, and, where relevant, multiparty conduct; and the strength of its evidence, namely evaluation conditions and grading instrument. The coding locates the gaps. Only 13 of 91 evaluation works check external state or action traces, only 5 of 21 grounded-outcome benchmarks use real human speech, and only 2 of 26 multiparty benchmarks verify state. Three claims follow. Architecture constrains deployment but does not determine results. It has been observed that benchmarks can verify outcomes, but few do. Evaluating an agent solely through one-on-one user interaction leaves critical gaps: it cannot confirm if the agent is speaking to the correct person, verify that person's authority, or identify the proper moments for strategic silence. From the taxonomy we derive TRG, short for Timing-Recovery-Grounded, a minimum reporting standard, and apply it to three published reports with different architectures. In one, tool-selection F1 is 82.5% while exact-call success is 33.0%, with no evidence of external task state. None of the three reports measures task state after an interruption. TRG governs what is reported and assigns no composite score. Per-source codes and tooling accompany the submission.


翻译:暂无翻译

0
下载
关闭预览

相关内容

【EPFL博士论文】基于transformer的高效语音识别,162页pdf
专知会员服务
46+阅读 · 2023年2月18日
多语言语音识别声学模型建模方法最新进展
专知会员服务
37+阅读 · 2022年2月7日
用于语音识别的数据增强
AI研习社
24+阅读 · 2019年6月5日
近期声学领域前沿论文(No. 3)
深度学习每日摘要
24+阅读 · 2019年3月31日
基于Tacotron模型的语音合成实践
深度学习每日摘要
15+阅读 · 2018年12月25日
专访 | Recurrent AI:呼叫系统的「变废为宝」
机器之心
12+阅读 · 2018年11月28日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
15+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
12+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
30+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
12+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
15+阅读 · 11月6日
相关VIP内容
【EPFL博士论文】基于transformer的高效语音识别,162页pdf
专知会员服务
46+阅读 · 2023年2月18日
多语言语音识别声学模型建模方法最新进展
专知会员服务
37+阅读 · 2022年2月7日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员