Large Language Models (LLMs) exhibit remarkable capabilities in natural language understanding and reasoning, but suffer from hallucination: the generation of factually incorrect content. While numerous methods have been developed to reduce hallucinations, their impact on creative generations remains unexplored. This gap is particularly critical for AI-assisted scientific discovery, which requires both factual accuracy and creative hypothesis generation. We investigate how three hallucination-reduction techniques: Chain of Verification (CoVe), Decoding by Contrasting Layers (DoLa), and Retrieval-Augmented Generation (RAG), affect creativity in LLMs. Evaluating multiple model families (LLaMA, Qwen, Mistral) at varying scales (1B - 70B parameters) on two creativity benchmarks (NeoCoder and CS4), we find that these methods have opposing effects on divergent creativity. CoVe enhances divergent thinking, DoLa suppresses it, and RAG shows minimal impact. Our findings provide guidance for selecting appropriate hallucination-reduction methods in scientific applications, where the balance between factual accuracy and creative exploration is crucial.


翻译:大语言模型(LLMs)在自然语言理解和推理方面展现出卓越的能力,但存在幻觉问题:即生成事实错误的内容。尽管已开发出众多减少幻觉的方法,但它们对创造性生成的影响仍未得到探索。这一空白对于需要事实准确性和创造性假设生成的AI辅助科学发现尤为关键。我们研究了三种幻觉减少技术:验证链(CoVe)、层间对比解码(DoLa)和检索增强生成(RAG)如何影响LLMs的创造力。通过在两个创造力基准(NeoCoder和CS4)上评估不同规模(1B - 70B参数)的多个模型系列(LLaMA、Qwen、Mistral),我们发现这些方法对发散性创造力具有相反的影响。CoVe增强了发散性思维,DoLa抑制了它,而RAG的影响微乎其微。我们的研究结果为在科学应用中选择合适的幻觉减少方法提供了指导,其中事实准确性与创造性探索之间的平衡至关重要。

0
下载
关闭预览

相关内容

LLMs与生成式智能体模拟:复杂系统研究的新范式
专知会员服务
27+阅读 · 2025年6月15日
大型语言模型幻觉的综述
专知会员服务
39+阅读 · 2024年2月15日
深入理解BERT Transformer ,不仅仅是注意力机制
大数据文摘
22+阅读 · 2019年3月19日
从想法到实干,2018年13项NLP绝美新研究
专知
75+阅读 · 2018年12月26日
NLG ≠ 机器写作 | 专家专栏
量子位
13+阅读 · 2018年9月10日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
LLMs与生成式智能体模拟:复杂系统研究的新范式
专知会员服务
27+阅读 · 2025年6月15日
大型语言模型幻觉的综述
专知会员服务
39+阅读 · 2024年2月15日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员