Agents powered by large language models (LLMs) are increasingly deployed in settings where communication shapes high-stakes decisions, making a principled understanding of strategic communication essential. Prior work largely studies either unverifiable cheap-talk or fully verifiable disclosure, failing to capture realistic domains in which information has probabilistic credibility. We introduce MixTalk, a strategic communication game for LLM-to-LLM interaction that models information credibility. In MixTalk, a sender agent strategically combines verifiable and unverifiable claims to communicate private information, while a receiver agent allocates a limited budget to costly verification and infers the underlying state from prior beliefs, claims, and verification outcomes. We evaluate state-of-the-art LLM agents in large-scale tournaments across three realistic deployment settings, revealing their strengths and limitations in reasoning about information credibility and the explicit behavior that shapes these interactions. Finally, we propose Tournament Oracle Policy Distillation (TOPD), an offline method that distills tournament oracle policy from interaction logs and deploys it in-context at inference time. Our results show that TOPD significantly improves receiver robustness to persuasion.


翻译:基于大型语言模型(LLM)的智能体正日益部署在沟通影响高风险决策的场景中,这使得对策略性沟通的原则性理解变得至关重要。先前研究主要集中于不可验证的廉价沟通或完全可验证的信息披露,未能捕捉信息具有概率可信度的现实领域。我们提出了MixTalk,一种为LLM间交互建模信息可信度的策略性沟通博弈。在MixTalk中,发送方智能体策略性地结合可验证与不可验证的声明来传递私有信息,而接收方智能体则将有限预算分配给成本高昂的验证过程,并依据先验信念、声明内容及验证结果来推断潜在状态。我们在三种现实部署场景下通过大规模锦标赛评估了最先进的LLM智能体,揭示了它们在推理信息可信度及塑造这些交互的显式行为方面的优势与局限。最后,我们提出了锦标赛先知策略蒸馏(TOPD),这是一种从交互日志中蒸馏锦标赛先知策略的离线方法,并在推理时进行上下文部署。实验结果表明,TOPD能显著提升接收方对说服策略的鲁棒性。

0
下载
关闭预览

相关内容

可解释人工智能中的大语言模型:全面综述
专知会员服务
53+阅读 · 2025年4月2日
迈向可信的人工智能:伦理和稳健的大型语言模型综述
专知会员服务
39+阅读 · 2024年7月28日
《利用 ChatGPT 实现高效事实核查》
专知会员服务
47+阅读 · 2023年10月25日
用于语音识别的数据增强
AI研习社
24+阅读 · 2019年6月5日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员