Human conversation is organized by an implicit chain of thoughts that manifests as timed speech acts. Capturing this causal pathway is key to building natural full-duplex interactive systems. We introduce a framework that enables reasoning over conversational behaviors by modeling this process as causal inference within a Graph-of-Thoughts (GoT). Our approach formalizes the intent-to-action pathway with a hierarchical labeling scheme, predicting high-level communicative intents and low-level speech acts to learn their causal and temporal dependencies. To train this system, we develop a hybrid corpus that pairs controllable, event-rich simulations with human-annotated rationales and real conversational speech. The GoT framework structures streaming predictions as an evolving graph, enabling a multimodal transformer to forecast the next speech act, generate concise justifications for its decisions, and dynamically refine its reasoning. Experiments on both synthetic and real duplex dialogues show that the framework delivers robust behavior detection, produces interpretable reasoning chains, and establishes a foundation for benchmarking conversational reasoning in full duplex spoken dialogue systems.


翻译:人类对话由一条隐含的思维链组织,表现为定时的言语行为。捕捉这种因果路径是构建自然全双工交互系统的关键。我们提出一个框架,通过将这一过程建模为思维图(Graph-of-Thoughts, GoT)内的因果推理,实现对对话行为的推理。我们的方法采用分层标注方案形式化从意图到行动的路径,通过预测高层交流意图和低层言语行为来学习其因果与时间依赖关系。为训练该系统,我们构建了一个混合语料库,将可控且事件丰富的模拟数据与人工标注的推理依据及真实对话语音相结合。GoT框架将流式预测结构化为一个演化的图,使多模态Transformer能够预测下一个言语行为、为其决策生成简洁的合理性解释,并动态优化其推理过程。在合成与真实双工对话上的实验表明,该框架实现了鲁棒的行为检测,生成了可解释的推理链,并为全双工会话对话系统中的对话推理基准建立奠定了基础。

0
下载
关闭预览

相关内容

【CVPR 2021】变换器跟踪TransT: Transformer Tracking
专知会员服务
22+阅读 · 2021年4月20日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
18+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员