We present the first comprehensive Lean 4 formalization of statistical learning theory (SLT) grounded in empirical process theory. Our en-to-end formal infrastructure implement the missing contents in latest Lean library, including a complete development of Gaussian Lipschitz concentration, Dudley's entropy integral theorem for sub-Gaussian processes, and an application to least-squares (sparse) regression with a sharp rate. The project was carried out using a human-AI collaborative workflow, in which humans design proof strategies and AI agents execute tactical proof construction, leading to the human-verified Lean 4 toolbox for SLT. Beyond implementation, the formalization process exposes and resolves implicit assumptions and missing details in standard SLT textbooks, enforcing a granular, line-by-line understanding of the theory. This work establishes a reusable formal foundation and opens the door for future developments in machine learning theory. The code is provided in https://github.com/YuanheZ/lean-stat-learning-theory.


翻译:我们提出了首个基于经验过程理论的统计学习理论(SLT)的Lean 4完整形式化框架。该端到端形式化基础设施填补了最新Lean库中的缺失内容,包括高斯利普希茨集中性的完整推导、次高斯过程的达德利熵积分定理,以及其在具有尖锐率的(稀疏)最小二乘回归中的应用。该项目采用人机协作的流程实现:人类设计证明策略,AI代理执行战术性证明构造,最终形成了经人类验证的SLT Lean 4工具包。除实现本身外,形式化过程揭示并解决了标准SLT教材中隐含的假设与遗漏细节,强制对理论进行逐行细粒度理解。本工作建立了一个可复用的形式化基础,为机器学习理论的未来发展打开大门。代码详见https://github.com/YuanheZ/lean-stat-learning-theory。

0
下载
关闭预览

相关内容

【干货书】无穷维统计模型的数学基础,705页pdf
专知会员服务
73+阅读 · 2023年10月23日
【干货书】统计学习理论几何视角,162页pdf
专知会员服务
42+阅读 · 2022年12月19日
专知会员服务
30+阅读 · 2020年11月4日
专知会员服务
55+阅读 · 2020年9月7日
经典教材《统计学习导论》Python版
专知
28+阅读 · 2020年10月19日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员