We show that the error probability of reconstructing kernel matrices from Random Fourier Features for the Gaussian kernel function is at most $\mathcal{O}(R^{2/3} \exp(-D))$, where $D$ is the number of random features and $R$ is the diameter of the data domain. We also provide an information-theoretic method-independent lower bound of $\Omega((1-\exp(-R^2)) \exp(-D))$. Compared to prior work, we are the first to show that the error probability for random Fourier features is independent of the dimensionality of data points. As applications of our theory, we obtain dimension-independent bounds for kernel ridge regression and support vector machines.


翻译:我们显示,从随机 Fourier 特性中重建高山内核功能的内核矩阵的误差概率最高为$\ mathcal{O}(R ⁇ 2/3}\ frem(-D)$),其中$D是随机特性的数量,$R$是数据域的直径。我们还提供了一个信息-理论方法(独立)下限$Omega((1-\ exp(-R ⁇ 2)))\ exp(-D))$。与先前的工作相比,我们是第一个显示随机Fourier特性的误差概率独立于数据点的维度。作为我们理论的应用,我们获得了内核脊回归和支持矢量机器的维独立边框。

0
下载
关闭预览

相关内容

【硬核书】树与网络上的概率,716页pdf
专知会员服务
77+阅读 · 2021年12月8日
专知会员服务
78+阅读 · 2021年3月16日
专知会员服务
52+阅读 · 2020年12月14日
【硬核书】树与网络上的概率,716页pdf
专知
24+阅读 · 2021年12月8日
缺失数据统计分析,第三版,462页pdf
专知
50+阅读 · 2020年2月28日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
已删除
雪球
6+阅读 · 2018年8月19日
笔记 | Sentiment Analysis
黑龙江大学自然语言处理实验室
10+阅读 · 2018年5月6日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
算法|随机森林(Random Forest)
全球人工智能
3+阅读 · 2018年1月8日
VIP会员
最新内容
非对称优势:美海军开发低成本反无人机技术
专知会员服务
4+阅读 · 今天4:39
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
5+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
8+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
6+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
13+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
9+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
4+阅读 · 4月24日
相关资讯
【硬核书】树与网络上的概率,716页pdf
专知
24+阅读 · 2021年12月8日
缺失数据统计分析,第三版,462页pdf
专知
50+阅读 · 2020年2月28日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
已删除
雪球
6+阅读 · 2018年8月19日
笔记 | Sentiment Analysis
黑龙江大学自然语言处理实验室
10+阅读 · 2018年5月6日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
算法|随机森林(Random Forest)
全球人工智能
3+阅读 · 2018年1月8日
Top
微信扫码咨询专知VIP会员