The kernel thinning (KT) algorithm of Dwivedi and Mackey (2021) compresses a probability distribution more effectively than independent sampling by targeting a reproducing kernel Hilbert space (RKHS) and leveraging a less smooth square-root kernel. Here we provide four improvements. First, we show that KT applied directly to the target RKHS yields tighter, dimension-free guarantees for any kernel, any distribution, and any fixed function in the RKHS. Second, we show that, for analytic kernels like Gaussian, inverse multiquadric, and sinc, target KT admits maximum mean discrepancy (MMD) guarantees comparable to or better than those of square-root KT without making explicit use of a square-root kernel. Third, we prove that KT with a fractional power kernel yields better-than-Monte-Carlo MMD guarantees for non-smooth kernels, like Laplace and Mat\'ern, that do not have square-roots. Fourth, we establish that KT applied to a sum of the target and power kernels (a procedure we call KT+) simultaneously inherits the improved MMD guarantees of power KT and the tighter individual function guarantees of target KT. In our experiments with target KT and KT+, we witness significant improvements in integration error even in $100$ dimensions and when compressing challenging differential equation posteriors.


翻译:Dwivedi 和 Mackey (2021年) 的内核稀释算法(KT) 压缩概率分布比独立取样更有效,方法是针对复制的内核Hilbert 空间(RKHS),利用不光滑的平方根内核。 我们在这里提供四个改进。 首先, 我们显示, KT直接应用到目标的RKHS, 对任何内核、任何分布和任何在RKHS的固定功能提供较紧的、无维度的保障。 其次, 我们显示, 对于Gausian、反多方形和辛肯等分析核心, 目标的概率分布比独立取样法(MMDD) 承认最大平均值差异(MMDD) 与平方根内空空间(RKT) 的类似或更好的保障。 第三, 我们证明, 拥有小核核内核核核部分内核(MMD) 的保证对非薄核内核(Laplet 和 Mat\ ) 的保证, 平底底, 我们确定KT 目标和更精确的KMC 的精确的保证, 我们的不断的K- 的K- T 和K- m) 的精确的K- m) 的保证。

0
下载
关闭预览

相关内容

零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
97+阅读 · 2020年5月31日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
已删除
将门创投
3+阅读 · 2020年8月3日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Machine Learning:十大机器学习算法
开源中国
21+阅读 · 2018年3月1日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
Arxiv
0+阅读 · 2022年1月19日
Arxiv
0+阅读 · 2022年1月18日
Arxiv
15+阅读 · 2020年12月17日
Arxiv
6+阅读 · 2019年12月30日
Deep Learning for Energy Markets
Arxiv
11+阅读 · 2019年4月10日
Arxiv
11+阅读 · 2018年3月23日
VIP会员
最新内容
综述 | 从问答到任务完成:Agent系统与Harness设计
Agentic RL:框架、实践与长程智能体训练
专知会员服务
2+阅读 · 6月24日
重新思考无人机时代的生存能力
专知会员服务
6+阅读 · 6月24日
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
5+阅读 · 6月24日
在人工智能加速决策环境中拓展OODA循环
专知会员服务
6+阅读 · 6月24日
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
5+阅读 · 6月24日
综述 | 世界动作模型:少做梦,多行动
专知会员服务
7+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
12+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
相关资讯
已删除
将门创投
3+阅读 · 2020年8月3日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Machine Learning:十大机器学习算法
开源中国
21+阅读 · 2018年3月1日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
相关论文
Arxiv
0+阅读 · 2022年1月19日
Arxiv
0+阅读 · 2022年1月18日
Arxiv
15+阅读 · 2020年12月17日
Arxiv
6+阅读 · 2019年12月30日
Deep Learning for Energy Markets
Arxiv
11+阅读 · 2019年4月10日
Arxiv
11+阅读 · 2018年3月23日
Top
微信扫码咨询专知VIP会员