Whether machines can originate novel content has been debated for nearly two centuries, from Lovelace's assertion that no engine can "originate anything" to Turing's question of whether a machine can amplify ideas brought in from outside. Multi-large language model (LLM) systems, increasingly deployed for autonomous generation, reopen this question empirically. Here we show that such systems, operating in closed loops, exhibit semantic collapse: systematic convergence in semantic representations despite apparent lexical variation. Across model families, extended simulations of 200 to 1,000 rounds, the pattern remains consistent. Twelve intervention strategies, spanning decoding parameters, prompt design, agent composition, activation engineering, and reinforcement learning, fail to restore semantic diversity. Mechanistic analyses suggest that semantic collapse is not explained by alignment or conformity biases, but is consistent with intrinsic properties of autoregressive generation. Our results point to fundamental constraints in the ability of multi-LLM systems to sustain open-ended knowledge production in closed-loop settings.


翻译:机器能否产生新颖内容这一问题已争论近两个世纪,从洛夫莱斯断言任何引擎都“不能原创任何东西”到图灵提出的机器能否放大外部输入的思想。多大型语言模型(LLM)系统日益被部署于自主生成任务,实证性地重新开启了这一议题。我们在此表明,此类在闭环中运行的系统表现出语义坍缩:尽管词汇表面存在变异,语义表征仍呈现系统性收敛。跨越不同模型族、历经200至1000轮扩展模拟,该模式始终保持一致。涵盖解码参数、提示设计、智能体组合、激活工程与强化学习的十二种干预策略,均未能恢复语义多样性。机制分析表明,语义坍缩并非源于对齐或从众偏差,而是与自回归生成的固有属性一致。我们的研究结果揭示了多LLM系统在闭环设定中维持开放性知识生产的能力存在根本性约束。

0
下载
关闭预览

相关内容

大型语言模型的规模效应局限
专知会员服务
14+阅读 · 2025年11月18日
多模态大语言模型的自我改进:综述
专知会员服务
29+阅读 · 2025年10月8日
多模态大型语言模型:综述
专知会员服务
47+阅读 · 2025年6月14日
基于大型语言模型的人机系统综述
专知会员服务
26+阅读 · 2025年5月12日
多机器人系统的大型语言模型:综述
专知会员服务
33+阅读 · 2025年2月7日
大语言模型智能体
专知会员服务
100+阅读 · 2024年12月25日
《多模态大语言模型评估综述》
专知会员服务
41+阅读 · 2024年8月29日
多模态大语言模型
专知会员服务
98+阅读 · 2024年6月25日
《多模态大型语言模型》最新进展,详述26种现有MM-LLMs
专知会员服务
65+阅读 · 2024年1月25日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月19日
Arxiv
25+阅读 · 2023年6月23日
VIP会员
最新内容
印度精确打击与指挥架构的断层
专知会员服务
0+阅读 · 今天14:41
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
2+阅读 · 今天14:13
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
7+阅读 · 7月19日
《无人机蜂群通信技术研究》50页
专知会员服务
8+阅读 · 7月19日
相关VIP内容
大型语言模型的规模效应局限
专知会员服务
14+阅读 · 2025年11月18日
多模态大语言模型的自我改进:综述
专知会员服务
29+阅读 · 2025年10月8日
多模态大型语言模型:综述
专知会员服务
47+阅读 · 2025年6月14日
基于大型语言模型的人机系统综述
专知会员服务
26+阅读 · 2025年5月12日
多机器人系统的大型语言模型:综述
专知会员服务
33+阅读 · 2025年2月7日
大语言模型智能体
专知会员服务
100+阅读 · 2024年12月25日
《多模态大语言模型评估综述》
专知会员服务
41+阅读 · 2024年8月29日
多模态大语言模型
专知会员服务
98+阅读 · 2024年6月25日
《多模态大型语言模型》最新进展,详述26种现有MM-LLMs
专知会员服务
65+阅读 · 2024年1月25日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员