Large Language Models (LLMs) are increasingly employed in various question-answering tasks. However, recent studies showcase that LLMs are susceptible to persuasion and could adopt counterfactual beliefs. We present a systematic evaluation of LLM susceptibility to persuasion under the Source--Message--Channel--Receiver (SMCR) communication framework. Across five mainstream Large Language Models (LLMs) and three domains (factual knowledge, medical QA, and social bias), we analyze how different persuasive strategies influence belief stability over multiple interaction turns. We further examine whether meta-cognition prompting (i.e., eliciting self-reported confidence) affects resistance to persuasion. Results show that the smallest model (Llama 3.2-3B) exhibits extreme compliance, with 82.5% of belief changes occurring at the first persuasive turn (average end turn of 1.1--1.4). Contrary to expectations, meta-cognition prompting increases vulnerability by accelerating belief erosion rather than enhancing robustness. Finally, we evaluate adversarial fine-tuning as a defense. While GPT-4o-mini achieves near-complete robustness (98.6%) and Mistral~7B improves substantially (35.7% $\rightarrow$ 79.3%), Llama models remain highly susceptible (<14%) even when fine-tuned on their own failure cases. Together, these findings highlight substantial model-dependent limits of current robustness interventions and offer guidance for developing more trustworthy LLMs.


翻译:大型语言模型(LLMs)正日益广泛地应用于各类问答任务。然而,近期研究表明LLMs易受说服影响,可能接受与事实相悖的信念。本研究基于"信源-信息-信道-接收者"(SMCR)传播框架,对LLMs的说服脆弱性进行了系统性评估。我们在五种主流大型语言模型和三个领域(事实知识、医疗问答、社会偏见)中,分析了多轮交互过程中不同说服策略如何影响信念稳定性。进一步探究了元认知提示(即引发模型自报告信度)是否影响其抗说服能力。结果显示,最小规模的模型(Llama 3.2-3B)表现出极端顺从性,82.5%的信念改变发生在首轮说服交互中(平均终止轮次为1.1-1.4)。与预期相反,元认知提示非但未能增强鲁棒性,反而通过加速信念侵蚀增加了模型脆弱性。最后,我们评估了对抗性微调作为防御手段的效果。虽然GPT-4o-mini实现了接近完全的鲁棒性(98.6%),Mistral~7B也有显著提升(35.7% $\rightarrow$ 79.3%),但Llama系列模型即使在自身失败案例上进行微调后仍保持高度易感性(<14%)。这些发现共同揭示了当前鲁棒性干预措施存在显著的模型依赖性局限,为开发更可信赖的LLMs提供了指导。

0
下载
关闭预览

相关内容

大语言模型幻觉:系统综述
专知会员服务
40+阅读 · 2025年10月10日
【伯克利博士论文】语言模型的脆弱性
专知会员服务
23+阅读 · 2025年2月20日
LLM4SR:关于大规模语言模型在科学研究中的应用综述
专知会员服务
42+阅读 · 2025年1月9日
大型语言模型(LLMs),附Slides与视频
专知会员服务
71+阅读 · 2024年6月30日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2012年12月31日
VIP会员
最新内容
《无人机革命:来自俄乌战场的启示》(报告)
专知会员服务
1+阅读 · 22分钟前
《实现联合作战能力所需的技术》58页报告
专知会员服务
1+阅读 · 40分钟前
以色列运用人工智能优化空袭警报系统
专知会员服务
0+阅读 · 50分钟前
以色列在多条战线部署AI智能体
专知会员服务
1+阅读 · 58分钟前
2025年大语言模型进展报告
专知会员服务
12+阅读 · 4月25日
多智能体协作机制
专知会员服务
11+阅读 · 4月25日
非对称优势:美海军开发低成本反无人机技术
专知会员服务
9+阅读 · 4月25日
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
8+阅读 · 4月25日
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
12+阅读 · 4月25日
【NTU博士论文】3D人体动作生成
专知会员服务
9+阅读 · 4月24日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员