复杂系统通常表现出特定的自组织几何与拓扑模式,其中蕴含的信息维度往往超越了传统统计方法的捕捉能力。本论文提出了一种统一的几何视角 (unified geometric perspective),用于剖析两个截然不同的领域:宇宙物质的大尺度分布以及大语言模型(LLM)的内部表示。 研究表明,持续同调 (persistent homology) —— 一种旨在追踪跨尺度几何特征“生灭”过程的拓扑数据分析工具 —— 在上述两种场景中均能提供与常规分析方法互补的关键信息。 * 在宇宙学领域:宇宙网的拓扑摘要能够捕捉到傅里叶空间统计量(Fourier-space statistics)所缺失的高阶空间相关性,进而优化对基本物理参数的约束,并有效打破参数间的简并性 (breaking degeneracies)。 * 在机器学习领域:通过追踪拓扑结构在 Transformer 隐藏层间的演化,本研究揭示了信息处理的通用相态 (universal phases),并为模型压缩 (model compression) 提供了理论依据。

此外,除拓扑特征外,本研究进一步证明了本征维度 (intrinsic dimension)统计累积量 (statistical cumulants) 等几何度量能够将内部表示的几何特性与模型行为直接关联。具体而言,Token 表示的本征维度与预测不确定性显著相关,而累积量展开则揭示了模型在训练过程中逐步习得高阶结构动力学过程。 核心结论强调了方法论的互补性:几何与拓扑方法并非旨在取代现有的分析框架,而是对其进行了深度扩展,提取出了原本隐匿的、具有高可解释性的结构特征。这种跨领域的成功应用表明,几何与拓扑学正成为理解从宏观宇宙到人工智能等复杂系统的通用工具。

成为VIP会员查看完整内容
22

相关内容

视频理解:从几何与语义表征到统一模型架构
专知会员服务
20+阅读 · 3月21日
【博士论文】学习视觉-语言表示以实现多模态理解
专知会员服务
28+阅读 · 2025年2月8日
几何图神经网络综述:数据结构、模型与应用
专知会员服务
55+阅读 · 2024年3月4日
几何观点下的深度学习
专知会员服务
36+阅读 · 2022年12月13日
【博士论文】多视光场光线空间几何模型研究
专知会员服务
24+阅读 · 2021年12月6日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
论文浅尝 | 基于深度序列模型的知识图谱补全
开放知识图谱
29+阅读 · 2019年5月19日
论文浅尝 | 基于知识图谱的子图匹配回答自然语言问题
开放知识图谱
27+阅读 · 2018年5月17日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Geometric modelling of spatial extremes
Arxiv
0+阅读 · 2月19日
Arxiv
33+阅读 · 2021年3月8日
VIP会员
最新内容
美国当前高超音速导弹发展概述
专知会员服务
1+阅读 · 今天15:03
《高超音速武器:一项再度兴起的技术》120页slides
无人机蜂群建模与仿真方法
专知会员服务
1+阅读 · 今天14:08
澳大利亚发布《国防战略(2026年)》
专知会员服务
0+阅读 · 今天13:42
【CMU博士论文】迈向基于基础先验的 4D 感知研究
专知会员服务
0+阅读 · 今天13:46
全球高超音速武器最新发展趋势
专知会员服务
1+阅读 · 今天13:17
相关VIP内容
视频理解:从几何与语义表征到统一模型架构
专知会员服务
20+阅读 · 3月21日
【博士论文】学习视觉-语言表示以实现多模态理解
专知会员服务
28+阅读 · 2025年2月8日
几何图神经网络综述:数据结构、模型与应用
专知会员服务
55+阅读 · 2024年3月4日
几何观点下的深度学习
专知会员服务
36+阅读 · 2022年12月13日
【博士论文】多视光场光线空间几何模型研究
专知会员服务
24+阅读 · 2021年12月6日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
微信扫码咨询专知VIP会员