Bernstein--Schur kernels are products of a finite-feature kernel and a completely monotone shift-invariant kernel: nonstationary kernels falling between the shift-invariant and dot-product templates random features exploit, so neither Bochner sampling nor polynomial sketching applies to the full kernel directly. We give one random-feature construction for the whole class that randomizes both factors: it sketches the finite modulation and samples the radial factor's one-dimensional Bernstein--Widder scale before applying Gaussian random Fourier features, giving feature dimension $Dm$, free of the $O(d^2)$ size of the exact modulation feature. With the modulation kept exact (the $m\to\infty$ limit), we prove unbiasedness, an exact variance, and a matrix-Bernstein operator-norm bound controlled by the top kernel and modulation eigenvalues and an intrinsic dimension rather than the crude $N\max_{ij}$ route. Whitening this argument at the ridge makes the effective dimension $d_{\mathrm{eff}}(λ)$ the \emph{exact} intrinsic dimension of the matrix variance, so $O((1+\|P\|_{\mathrm{op}}/λ)\log(d_{\mathrm{eff}}/δ))$ radial draws preserve the kernel-ridge solution; tilting the draw by a closed-form whitened leverage improves this to the effective-dimension count $O((1+d_{\mathrm{eff}})\log(d_{\mathrm{eff}}/δ))$. Conditioning on the sketch carries every guarantee to the deployed doubly-randomized estimator up to one additive sketch term, and all hold for the whole class with the modulation Gram in place of the polynomial one. The flagship instance is the biased $yat$-kernel $k_{yat,b}(w,x)=(w^\top x+b)^2/(\|w-x\|^2+\varepsilon)$, whose family span contains the inverse-multiquadric kernel by finite differences in $b$.


翻译:[translated abstract in Chinese] Bernstein-Schur核函数是一类有限特征核函数与完全单调平移不变核函数的乘积:这类非平稳核函数介于随机特征所利用的平移不变模板与点积模板之间,因此Bochner采样与多项式草图法均无法直接应用于完整核函数。我们为整个核函数类别提出了一种随机特征构造方法,该方法同时对两个因子进行随机化:对有限调制进行草图化处理,并对其径向因子的一维Bernstein-Widder尺度进行采样,随后应用高斯随机傅里叶特征,生成特征维度$Dm$,避免了精确调制特征所需的$O(d^2)$规模。在保持调制精确(即$m\to\infty$极限)的情况下,我们证明了无偏性、精确方差,以及由顶部核函数与调制特征值以及固有维度(而非粗略的$N\max_{ij}$路径)控制的矩阵Bernstein算子范数界。对该参数进行岭回归白化处理后,有效维度$d_{\mathrm{eff}}(λ)$成为矩阵方差的精确固有维度,因此$O((1+\|P\|_{\mathrm{op}}/λ)\log(d_{\mathrm{eff}}/δ))$次径向采样即可保持核岭回归解;通过封闭形式的白化杠杆倾斜采样,该结果可改进至有效维度计数$O((1+d_{\mathrm{eff}})\log(d_{\mathrm{eff}}/δ))$。基于草图的条件下,每个保证均能传递至实际部署的双重随机化估计器(仅额外增加一个草图项),且所有结论均适用于整个核函数类别(仅需将多项式Gram矩阵替换为调制Gram矩阵)。典型实例为有偏$yat$核函数$k_{yat,b}(w,x)=(w^\top x+b)^2/(\|w-x\|^2+\varepsilon)$,其函数族通过关于$b$的有限差分包含逆多二次核函数。

0
下载
关闭预览

相关内容

专知会员服务
10+阅读 · 2021年10月1日
专知会员服务
25+阅读 · 2021年7月31日
专知会员服务
32+阅读 · 2021年7月15日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
【GitHub】BERT模型从训练到部署全流程
专知
34+阅读 · 2019年6月28日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
深入理解BERT Transformer ,不仅仅是注意力机制
大数据文摘
22+阅读 · 2019年3月19日
使用 Bert 预训练模型文本分类(内附源码)
数据库开发
102+阅读 · 2019年3月12日
BERT相关论文、文章和代码资源汇总
AINLP
19+阅读 · 2018年11月17日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
完全图解RNN、RNN变体、Seq2Seq、Attention机制
AI研习社
13+阅读 · 2017年9月5日
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
0+阅读 · 9分钟前
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
相关资讯
相关基金
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员