大语言模型（Large Language Models, LLMs）的迅速崛起引发了人工智能领域的深远范式转移，并在工程层面取得了巨大成功，对现代社会产生着日益增长的影响。然而，当前领域仍存在一个关键悖论：尽管 LLMs 在经验上表现出极高的有效性，但其理论研究仍处于相对初级的阶段，导致这些系统在很大程度上被视为“黑盒”。 为了解决理论碎片化的问题，本综述提出了一种统一的、基于生命周期的分类体系，将研究图景划分为六个明确阶段：数据准备、模型准备、训练、对齐（Alignment）、推理及评估。在此框架下，我们系统性地回顾了驱动 LLM 性能的底层理论与内部机制。具体而言，本文分析了诸多核心理论问题，如数据混合的数学证明、各类架构的表示极限，以及对齐算法的优化动力学。 在超越现有最佳实践的基础上，我们识别了关键的前沿挑战，包括合成数据自我提升的理论极限、安全保障的数学边界，以及涌现智能（Emergent Intelligence）的机械论起源。通过将经验性观察与严谨的科学探究相结合，本研究为推动 LLM 开发从工程启发式方法向规范的科学学科转型提供了结构化的路线图。

1 引言

近期大语言模型（LLM）的崛起标志着人工智能（AI）领域一场深刻的范式转移。诸如 ChatGPT [284]、DeepSeek [128]、Qwen [14]、Llama [380]、Gemini [374] 以及 Claude [33] 等模型已经超越了传统自然语言处理（NLP）[384] 的范畴，展现出影响现代社会方方面面的能力。随着这些系统规模的扩大，它们表现出模仿人类推理的行为 [406]，引发了人类与信息交互方式的全球性变革。 在技术发展史上，工程上的巨大成就往往与科学创新密不可分。然而，理论与应用之间的同步鲜有即时发生的。以核物理的发展轨迹为例：从 1905 年爱因斯坦提出质能方程（$E = mc^2$）[86]，到 1945 年洛斯阿拉莫斯首颗原子弹的引爆 [322]，科学家和工程师们经历了四十年的历程才将理论洞察转化为物理现实 [153]。AI 的发展亦经历了类似的漫长跨度：从通用近似定理（Universal Approximation Theorem）[157] 的提出（该定理在数学上保证了神经网络可以表示任何连续函数），到 ChatGPT [284] 作为该潜力的终极证明出现，中间大约跨越了 33 年。从我们目前的视角展望未来，对通用人工智能（AGI）的追求需要一种平衡的协同效应，即持续的理论研究与严谨的工程实现被视为同样不可或缺的支柱。 数十年来，研究人员通过多元的工程与科学视角孜孜不倦地探求智能的本质。站在当前这一关键时刻，凭借 LLMs 取得的经验性成功，我们似乎比以往任何时候都更接近揭开智能的面纱。然而，在我们当前的处境中仍存在一个悖论：尽管 LLMs 在工程上取得了里程碑式的成功，我们对其理论的理解仍处于不成比例的初级阶段。虽然深度学习理论已取得长足进步 [324]，但 LLMs 中涌现的特定现象犹如笼罩在该领域上空的“乌云”，粉碎了以往的直觉并挑战了既有的统计学习范式 [193]。因此，我们目前被迫在很大程度上将 LLMs 视为“黑盒” [232, 486]。它们运行效果极其出色，但其内部运作机制——即其有效性背后的机理与逻辑——仍然难以捉摸。 窥探这一黑盒的困难主要源于两个维度。首先，LLMs 的庞大规模带来了前所未有的复杂性 [193, 154]。其参数量已达万亿级别，且自然语言的状态空间在组合学上极其宏大，导致准确分析其学习动力学和优化景观（Optimization Landscape）成为一项艰巨的数学挑战。其次，LLMs 展现出许多在较小模型中未曾出现的“涌现”（Emergent）现象，例如幻觉 [434]、上下文学习（In-Context Learning, ICL）[30]、缩放法则（Scaling Laws）[193]，以及训练过程中的突然“悟道”时刻（“Aha moments”）[128]。这些现象难以统一在单个理论框架下，使得 LLMs 的建模工作呈现碎片化态势。因此，目前对 LLM 理论与机制的分析往往是分散的，孤立于特定的子课题中，缺乏全局视角。 为了解决这一碎片化问题，本综述提出了一种全面的、基于生命周期的视角。遵循标准的 LLM 流水线，我们将理论研究版图划分为六个明确阶段（如图 1 所示）：数据准备阶段、模型准备阶段、训练阶段、对齐阶段、推理阶段以及评估阶段。通过将热门课题和理论进展归类到这些阶段中，我们旨在提供一个结构化的路线图，将经验性观察与其底层机制联系起来。 本工作的主要贡献如下： 1. 统一的基于生命周期的分类体系：我们提出了一个结构化框架，将碎片化的 LLM 研究版图组织为六个阶段：数据准备、模型准备、训练、对齐、推理和评估。这一生命周期视角允许研究者系统地探索 LLM 开发每一步的理论基础。 1. 理论与机制的系统性回顾：超越工程启发式方法，我们对驱动 LLMs 的基础理论和内部机制进行了全面回顾。我们分析了核心理论问题，如数据混合的数学证明、架构的表示极限以及对齐算法的优化动力学。 1. 前沿挑战的识别：我们识别并讨论了定义该领域未来的关键开放性问题和高级课题。通过强调尚未解决的挑战（如合成数据自我提升的理论极限和安全保障的数学边界），我们为未来的科学探究提供了路线图。

本文其余部分的结构安排如下：第 2 节至第 7 节详细综述了与六个阶段分别对应的理论与机制。第 8 节回顾了相关工作，第 9 节总结并讨论了 LLM 理论的未来。