Large language models (LLMs) are used not only for problem solving but also for creative ideation; however, eliciting serendipitous insights that are both novel and internally coherent remains difficult. While stochastic sampling promotes novelty, it often degrades consistency. Here, we propose ReMIND, a REM-inspired modular framework for ideation. ReMIND consists of four stages: wake, which generates a stable low-temperature semantic baseline; dream, which performs high-temperature exploratory generation; judge, which applies coarse evaluation to filter incoherent outputs and extract candidate ideas; and re-wake, which re-articulates selected ideas into coherent final outputs. By instantiating each stage as an independent LLM, ReMIND enables functional separation between exploration and consolidation. Parameter sweeps show that ReMIND reliably induces semantic exploration while preserving downstream stability. Embedding-based analyses confirm substantial semantic displacement during the dream phase, whereas external evaluations reveal that high-quality ideas emerge sporadically rather than as extrema along any single metric. These results suggest that serendipitous ideation in LLMs is a rare-event process best approached through system level design that shapes the conditions under which valuable ideas can emerge and be stabilized. ReMIND provides a general framework for studying the computational basis of serendipity and illustrates how modular LLM orchestration can bridge exploration and stabilization.


翻译:大语言模型(LLMs)不仅用于问题求解,亦被应用于创意构思;然而,激发兼具新颖性与内在一致性的意外洞见仍具挑战。随机采样虽能促进新颖性,却常损害一致性。本文提出ReMIND——一种受快速眼动睡眠(REM)启发的模块化构思框架。ReMIND包含四个阶段:清醒阶段,生成稳定的低温语义基线;梦境阶段,执行高温探索性生成;评判阶段,通过粗粒度评估过滤不连贯输出并提取候选创意;再清醒阶段,将选定创意重新表述为连贯的最终输出。通过将每个阶段实例化为独立的大语言模型,ReMIND实现了探索与巩固的功能分离。参数扫描表明,ReMIND能可靠地引发语义探索,同时保持下游稳定性。基于嵌入的分析证实梦境阶段存在显著的语义位移,而外部评估显示高质量创意呈零星涌现态势,而非沿单一指标的极值分布。这些结果表明,大语言模型中的意外构思是一种稀有事件过程,最佳实现途径是通过系统级设计来塑造有价值创意得以涌现并稳定的条件。ReMIND为研究意外发现的计算基础提供了通用框架,并阐明了模块化大语言模型编排如何桥接探索与稳定化过程。

0
下载
关闭预览

相关内容

Reminders是一款软件,支持Win9x/Me/NT/2000/XP/2003。
大语言模型机器遗忘综述
专知会员服务
18+阅读 · 2025年11月2日
PlanGenLLMs:大型语言模型规划能力的最新综述
专知会员服务
33+阅读 · 2025年5月18日
【ICML2024】理解大型语言模型在规划中的作用,138页pdf
专知会员服务
49+阅读 · 2024年7月24日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员