This paper reformulates Transformer/Attention mechanisms in Large Language Models (LLMs) through measure theory and frequency analysis, theoretically demonstrating that hallucination is an inevitable structural limitation. The embedding space functions as a conditional expectation over a σ-algebra, and its failure to be isomorphic to the semantic truth set fundamentally causes logical consistency breakdown. WavePhaseNet Method The authors propose WavePhaseNet, which explicitly constructs a Semantic Conceptual Hierarchy Structure (SCHS) using Discrete Fourier Transform (DFT). By applying DFT along the sequence dimension, semantic information is decomposed into frequency bands: low-frequency components capture global meaning and intent, while high-frequency components represent local syntax and expression. This staged separation enables precise semantic manipulation in diagonalized space. Dimensionality Reduction GPT-4's 24,576-dimensional embedding space exhibits a 1/f spectral structure based on language self-similarity and Zipf's law. Through cumulative energy analysis, the authors derive that approximately 3,000 dimensions constitute the lower bound for "complete representation." This demonstrates that reduction from 24,576 to 3,000 dimensions preserves meaning and intent while enabling rigorous reasoning and suppressing hallucination. Cohomological Consistency Control The reduced embedding space, constructed via cohomological regularization over overlapping local windows, allows defining a graph structure and cochain complex. This quantifies inconsistencies among local inferences as coboundary-based losses. Applying harmonic projection based on Hodge theory positions cohomology as a computable regularization principle for controlling semantic consistency, extracting maximally consistent global representations.


翻译:本文通过测度论与频率分析,重新表述了大型语言模型中的Transformer/注意力机制,从理论上证明了幻觉是其不可避免的结构性局限。嵌入空间作为σ-代数上的条件期望,其与语义真值集非同构是逻辑一致性崩溃的根本原因。WavePhaseNet方法 作者提出了WavePhaseNet,该方法利用离散傅里叶变换显式构建语义概念层次结构。通过在序列维度应用DFT,语义信息被分解至不同频带:低频分量捕捉全局意义与意图,高频分量则表征局部句法与表达。这种阶段性分离使得在对角化空间中进行精确的语义操控成为可能。降维分析 基于语言的自相似性与齐夫定律,GPT-4的24,576维嵌入空间呈现出1/f谱结构。通过累积能量分析,作者推导出约3,000维度构成“完整表示”的下界。这表明从24,576维降至3,000维能在保留意义与意图的同时,实现严谨推理并抑制幻觉。上同调一致性控制 通过重叠局部窗口上的上同调正则化构建的降维嵌入空间,允许定义图结构及上链复形。该方法将局部推断间的不一致性量化为基于上边缘的损失。基于霍奇理论应用调和投影,将上同调定位为可计算的正则化原理,用以控制语义一致性并提取最大一致性的全局表示。

0
下载
关闭预览

相关内容

【NeurIPS 2022】带有自适应节点采样的层次图Transformer
专知会员服务
29+阅读 · 2022年10月11日
基于关系网络的视觉建模:有望替代卷积神经网络
微软研究院AI头条
10+阅读 · 2019年7月12日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
详述DeepMind wavenet原理及其TensorFlow实现
深度学习每日摘要
12+阅读 · 2017年6月26日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【NeurIPS 2022】带有自适应节点采样的层次图Transformer
专知会员服务
29+阅读 · 2022年10月11日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员