We show that the error probability of reconstructing kernel matrices from Random Fourier Features for the Gaussian kernel function is at most $\mathcal{O}(R^{2/3} \exp(-D))$, where $D$ is the number of random features and $R$ is the diameter of the data domain. We also provide an information-theoretic method-independent lower bound of $\Omega((1-\exp(-R^2)) \exp(-D))$. Compared to prior work, we are the first to show that the error probability for random Fourier features is independent of the dimensionality of data points. As applications of our theory, we obtain dimension-independent bounds for kernel ridge regression and support vector machines.


翻译:我们显示,从随机 Fourier 特性中重建高山内核功能的内核矩阵的误差概率最高为$\ mathcal{O}(R ⁇ 2/3}\ frem(-D)$),其中$D是随机特性的数量,$R$是数据域的直径。我们还提供了一个信息-理论方法(独立)下限$Omega((1-\ exp(-R ⁇ 2)))\ exp(-D))$。与先前的工作相比,我们是第一个显示随机Fourier特性的误差概率独立于数据点的维度。作为我们理论的应用,我们获得了内核脊回归和支持矢量机器的维独立边框。

0
下载
关闭预览

相关内容

【硬核书】树与网络上的概率,716页pdf
专知会员服务
77+阅读 · 2021年12月8日
专知会员服务
78+阅读 · 2021年3月16日
专知会员服务
52+阅读 · 2020年12月14日
【硬核书】树与网络上的概率,716页pdf
专知
24+阅读 · 2021年12月8日
缺失数据统计分析,第三版,462页pdf
专知
50+阅读 · 2020年2月28日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
已删除
雪球
6+阅读 · 2018年8月19日
笔记 | Sentiment Analysis
黑龙江大学自然语言处理实验室
10+阅读 · 2018年5月6日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
算法|随机森林(Random Forest)
全球人工智能
3+阅读 · 2018年1月8日
VIP会员
最新内容
网状网络及其在军事领域的运用
专知会员服务
1+阅读 · 今天6:18
无美国参与的欧洲战争方式(万字长文)
专知会员服务
2+阅读 · 今天5:54
《国防领域敏感性分析白皮书》
专知会员服务
1+阅读 · 今天3:42
综述 | 从问答到任务完成:Agent系统与Harness设计
Agentic RL:框架、实践与长程智能体训练
专知会员服务
3+阅读 · 6月24日
重新思考无人机时代的生存能力
专知会员服务
7+阅读 · 6月24日
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
5+阅读 · 6月24日
在人工智能加速决策环境中拓展OODA循环
专知会员服务
7+阅读 · 6月24日
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
5+阅读 · 6月24日
相关资讯
【硬核书】树与网络上的概率,716页pdf
专知
24+阅读 · 2021年12月8日
缺失数据统计分析,第三版,462页pdf
专知
50+阅读 · 2020年2月28日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
已删除
雪球
6+阅读 · 2018年8月19日
笔记 | Sentiment Analysis
黑龙江大学自然语言处理实验室
10+阅读 · 2018年5月6日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
算法|随机森林(Random Forest)
全球人工智能
3+阅读 · 2018年1月8日
Top
微信扫码咨询专知VIP会员