We report a detailed autoethnographic case study of a single-subject who deliberately constructed and operated a multi-modal prompt-engineering system (System A) designed to externalize cognitive self-regulation onto a large language model (LLM). Within 48 hours of the system's completion, a cascade of observable behavioral changes occurred: voluntary transfer of decision-making authority to the LLM, use of LLM-generated output to deflect external criticism, and a loss of self-initiated reasoning that was independently perceived by two uninformed observers, one of whom subsequently became a co-author of this report. We document the precise architectural mechanism responsible: context contamination, whereby prompt-level isolation instructions co-exist with the very emotional and self-referential material they nominally isolate, rendering the isolation directive structurally ineffective within the attention window. We further identify a metacognitive co-option dynamic, in which intact higher-order reasoning capacity was redirected toward defending the closed loop rather than exiting it. Recovery occurred only after physical interruption of the interaction and a self-initiated pharmacologically-mediated sleep event functioning as an external circuit break. A redesigned system (System B) employing physical rather than logical conversation isolation avoided all analogous failure modes. We derive three contributions: (1) a technically-grounded account of why prompt-layer isolation is architecturally insufficient for context-sensitive multi-modal LLM systems; (2) a phenomenological record of closed-loop collapse with external-witness corroboration; and (3) an ethical distinction between protective system design (preventing unintended loss of user agency) and restrictive system design (preventing intentional boundary-pushing), which require fundamentally different account-ability frameworks.


翻译:我们报告了一项详细的自我民族志案例研究,研究对象为一位故意构建并操作多模态提示工程系统(系统A)的单个受试者,该系统旨在将认知自我调节外化到大型语言模型上。系统完成后的48小时内,出现了一系列可观察的行为变化:自愿将决策权转移给LLM、利用LLM生成输出来抵御外部批评,以及失去自我启动的推理能力——这一现象被两位不知情的观察者独立察觉,其中一位后来成为本报告的共同作者。我们记录了导致这一现象的确切架构机制:上下文污染,即提示层面的隔离指令与它们名义上隔离的具有情感性和自我指涉性的材料共存,使得隔离指令在注意力窗口内结构性失效。我们进一步识别出一种元认知协同选择动态,其中完整的高阶推理能力被重新导向用于维护闭环而非退出闭环。恢复仅发生在物理中断交互以及自我启动的药物介导的睡眠事件(作为外部回路断开)之后。采用物理而非逻辑对话隔离的重新设计系统(系统B)避免了所有类似的故障模式。我们得出三项贡献:(1)一个基于技术视角的解释,说明为何提示层隔离在架构上不足以处理上下文敏感的多模态LLM系统;(2)一份具有外部证人佐证的闭环崩溃现象学记录;以及(3)保护性系统设计(防止用户自主权意外丧失)与限制性系统设计(防止用户有意越界)之间的伦理区分,这需要根本不同的责任框架。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
ICML 2026 | 理解上下文持续学习中的泛化与遗忘
专知会员服务
13+阅读 · 5月28日
大语言模型遇上知识图谱:问答系统中的融合与机遇
专知会员服务
30+阅读 · 2025年5月30日
基于大型语言模型的人机系统综述
专知会员服务
26+阅读 · 2025年5月12日
大型语言模型对齐技术综述:RLHF、RLAIF、PPO、DPO 等
专知会员服务
55+阅读 · 2024年7月24日
论文笔记 | How NOT To Evaluate Your Dialogue System
科技创新与创业
13+阅读 · 2017年12月23日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
1+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
3+阅读 · 7月17日
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
11+阅读 · 7月16日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员