ICML 2026教程：用Kan Extension Transformers统一Attention与Diffusion

导读

这个 ICML 2026 Tutorial 的题目是 Unifying Attention and Diffusion with Kan Extension Transformers: Structured Deep Learning with Diagrammatic Backpropagation，由 Sridhar Mahadevan 主讲。教程时间为 2026 年 7 月 6 日 9:00-11:30，地点为韩国首尔 Hall C。 这不是一门普通的 Transformer 或 Diffusion 入门课，而是试图用范畴论与几何语言重新组织基础模型系统：如何让大模型的表示、训练动态和智能体工作流变得可组合、可审计、可验证、可信任。教程的核心工具包括 Diagrammatic Backpropagation（DB）、Kan Extension Transformers（KET）、Infinitesimal Causality（IC）、Universal Decision Learning（UDL）和 Topos World Models。 一句话概括：作者希望把现代基础模型从“黑箱能力集合”推进到“可被准入、检查和组合的结构化工件”。在这个框架下，模型输出、技能、潜在因果结构和智能体行为都不应只靠最终效果说服人，而要经过类型化证据、限制映射、obstruction 信号和 promotion gate 的检验。

教程信息

教程名称：Unifying Attention and Diffusion with Kan Extension Transformers 副标题：Structured Deep Learning with Diagrammatic Backpropagation 会议：ICML 2026 Tutorial 讲者：Sridhar Mahadevan，Adobe Research 与 University of Massachusetts Amherst 时间地点：2026 年 7 月 6 日 9:00-11:30，Hall C，Seoul，South Korea 主页：https://people.cs.umass.edu/~mahadeva/icml-2026-ket-tutorial.html Slides：https://people.cs.umass.edu/~mahadeva/icml2026_tutorial.pdf

这门教程想解决什么问题

现代基础模型已经非常强大，但它们的内部表示、训练动态和智能体工作流仍然很难审计、组合和信任。我们可以看到模型输出一个答案，却很难回答：这个输出由哪些证据支持？哪些局部技能可以安全组合？因果假设在哪里进入系统？当上下文迁移时，哪些结论仍然成立？系统能否发现潜在结构中的冲突、遮挡或不一致？ 教程把这些问题归结为一个更大的挑战：如何构建可信基础模型系统。这里的可信并不只是“回答看起来正确”，而是系统中的每个局部声明、技能、结构和输出都能被检查，并且只有通过兼容性约束和准入门控后才能被提升为全局工件。

从Foundation Models到Foundries

教程提出一个关键概念：foundry。在这里，foundry 可以理解为基础模型系统中的可组合构件。它不是单纯的模型模块，而是一类带有声明、技能、潜在结构和输出的工件，这些工件必须能被类型化证据、限制关系、obstruction 信号和 promotion gate 检查。 这种说法听起来抽象，但它对应的是现实中的基础模型工程问题。一个智能体系统会有检索模块、推理模块、工具调用、评估器、记忆、因果假设和决策规则。如果这些部分只是临时拼装，系统很难追踪错误来源；如果它们被视为 foundry，则每个局部组件都要说明自己的证据、适用范围、兼容关系和失败条件。

从这个角度看，教程并不是只讲一个新模型结构，而是在讲一种系统观：基础模型应该由可审计、可组合、可局部验证的构件搭建，而不是依赖不可解释的端到端表现。

范畴语言如何泛化深度学习

教程的第二部分试图用范畴论语言概括深度学习中的结构。这里不需要读者先掌握完整范畴论，关键是理解几个直觉。 首先，系统中的对象可以是 token、图状态、模型、技能、因果片段或局部上下文。对象之间的箭头表示可计算的变换、约束或映射。自然变换描述不同函数式描述之间如何一致地转换。限制映射描述局部信息如何被投影到子上下文。粘合则描述多个局部片段如何组合成全局结构。 在传统深度学习里，反向传播通常被看作对参数的梯度更新。教程提出的 Diagrammatic Backpropagation 更强调“图式”或“结构”上的误差信号：梯度不只是数值优化信号，也可以成为组合结构中的一致性、曲率和责任分配信息。这样，学习不再只是调参，而是让局部图式更可组合、更一致。

KET：把Attention与Diffusion看成两种传输机制

Kan Extension Transformers 是教程的核心。网页介绍中明确说，KET 不只是一个 attention-like 架构，也是一种原则：把局部证据、技能、表示和行为跨上下文延展，同时保持兼容性约束。 教程给出一个高层直觉：KET 通过配对 left Kan aggregation 与 right Kan completion 来传输结构。Left Kan 可以理解为把局部证据向更大上下文中 rollout，Right Kan 则把全局一致性约束 pullback 到局部观测上。二者结合，就形成“扩展 + 一致性”的传输机制。

这也是教程题目中“统一 Attention 与 Diffusion”的含义。Attention 可以被看作从局部 token 或局部证据中聚合上下文表示；Diffusion 可以被看作在兼容性约束下补全或修复部分状态。KET 试图把它们放在同一种 Kan extension 语言下：Attention 偏向聚合，Diffusion 偏向一致性补全，而基础模型系统需要二者协同。

DB、IC与UDL：让训练、因果和决策都可检查

除了 KET，教程还引入三个重要镜头。 第一是 Diagrammatic Backpropagation。它把梯度与误差传播放进图式结构中理解，使训练信号能够指向具体结构：哪里不一致，哪里有曲率，哪里需要修复，哪个局部模块承担责任。 第二是 Infinitesimal Causality。它关注局部因果变化是否能够粘合成全局一致故事。对于智能体系统，这一点非常重要：一个工具调用、一次 LoRA 适配、一个局部因果声明，未必能无条件推广到更大上下文。IC 的目标是诊断局部变化的可见效应、obstruction 和 restriction。 第三是 Universal Decision Learning。UDL 把决策学习看成一个准入循环：系统提出候选工件、技能、计划或声明；rollout 检查它扩展到任务上下文后的后果；pullback 检查为了让它可准入，局部必须满足哪些证据和约束；最后由 admission gate 决定是否更新决策规则。

这个框架很适合解释智能体工作流优化。一个 agent skill 不应只是“在训练集上表现更好”就被接受，而应该经过 rollout、反思、验证门、held-out diagnostics 等检查。SkillOpt、LASKO、BRIDGE/SKFM 等 demo 轨道都围绕这一思想展开。

Demo Track：从概念到可运行工件

网页列出了三个 demo track。第一是 Democritus 与 Odyssey，用于提取 causal PSR cells，保留不确定性，并且只让通过 TICKET 风格 guardrails 的声明被准入。第二是 SkillOpt，用 rollout、reflection、validation gates 和 held-out diagnostics 优化 Markdown admission skill。第三是 BRIDGE/SKFM，用潜在因果传输和谱细化暴露 obstruction，并指导可信迁移。 这些 demo 的共同点是：它们不把智能体输出当作不可分解的自然语言文本，而是把输出拆成可检查工件。例如 causal claim、PSR manifold、local section、witness、restriction map、ticket 等。系统不是直接相信智能体，而是要求智能体提供可审计的结构。

slides 中的 Temporal Democritus 示例展示了如何从公司 10-K 文件出发，抽取每年的因果风格声明，再通过 temporal diffusion 观察策略、风险和产品声明如何随时间演化。这里真正关心的不是图本身，而是“哪些声明持续存在、改变或被遮挡”这一可信问题。

Topos World Models：用局部世界组织全局信任

教程还引入 Topos World Models。直观地说，topos 可以被理解为一种“数学宇宙”，适合组织内部逻辑、局部上下文和可粘合结构。在基础模型系统里，不同领域、任务、文档片段或 agent 状态都可以被看作局部世界；全局信任来自这些局部世界之间的一致性检查。 Prometheus 被放在这个视角下理解：它从本地文档、事件或产品反馈中生成 local sections，再通过 sheaf/topos 结构管理库存、声明、证据与上下文。Odyssey 和 TICKET 则负责决定哪些局部声明能够被提升为更全局的可信声明。 这与普通 RAG 或 agent pipeline 的区别在于：普通系统更多关注“检索到什么、回答什么”，而这个教程强调“局部回答如何受约束、如何互相粘合、哪里发生 obstruction、哪些工件可以被准入”。

核心Takeaway

slides 最后的总结非常清楚。第一，局部证据是不够的。信任需要 restriction maps、compatibility checks 和 obstruction signals。 第二，Attention 与 Diffusion 都可以被理解为传输机制。KET 不只从层公式出发看它们，而是用 Kan extensions 统一理解：一个偏向聚合局部证据，一个偏向在约束下补全状态。 第三，Backpropagation 可以是 diagrammatic 的。梯度不只是标量损失的微分，也可以成为组合结构中的责任分配和修复信号。 第四，agent skills 应被视为 artifacts。UDL 与 SkillOpt 把工作流改进看作证据与门控下的准入过程，而不是盲目接受一次 rollout 的结果。 第五，因果声明需要 infinitesimal diagnostics。IC 关心局部因果变化能否粘合成一致的大故事。

适合谁看

这门教程适合三类读者。 一是关注可信基础模型、智能体系统和可审计 AI 的研究者。它提供了一套把证据、技能、因果结构和输出统一为可检查工件的理论框架。 二是关注 Transformer、Diffusion 和生成模型结构统一的人。KET 的重点不是再提出一个孤立模块，而是把 attention 的聚合与 diffusion 的补全放到同一种结构传输语言中。 三是做 agent workflow、工具调用、技能优化和评测治理的工程团队。教程中的 admission gate、TICKET、SkillOpt 和 foundry 视角，给出了比“让模型多反思几轮”更系统的工作流治理方式。 总的来说，这个 ICML 2026 Tutorial 讲的是一件很前沿也很困难的事：如何把基础模型系统从经验拼装，推进到可组合、可审计、可验证的结构化工程。 它的数学语言很重，但背后的工程问题非常现实：未来可信 AI 系统不能只问“模型答得好不好”，还要问“这个答案如何被构造、被约束、被诊断，并被允许进入系统”。