Gradient boosted decision trees, particularly XGBoost, are among the most effective methods for tabular data. As deployment in sensitive settings increases, cryptographic guarantees of model integrity become essential. We present ZKBoost, the first zero-knowledge proof of training (zkPoT) protocol for XGBoost, enabling model owners to prove correct training on a committed dataset without revealing data or parameters. We make three key contributions: (1) a fixed-point XGBoost implementation compatible with arithmetic circuits, enabling instantiation of efficient zkPoT, (2) a generic template of zkPoT for XGBoost, which can be instantiated with any general-purpose ZKP backend, and (3) vector oblivious linear evaluation (VOLE)-based instantiation resolving challenges in proving nonlinear fixed-point operations. Our fixed-point implementation matches standard XGBoost accuracy within 1\% while enabling practical zkPoT on real-world datasets.


翻译:梯度提升决策树(特别是XGBoost)是处理表格数据最有效的方法之一。随着在敏感场景中部署的增加,模型完整性的密码学保证变得至关重要。我们提出了ZKBoost——首个面向XGBoost的零知识训练证明协议,使模型所有者能够在承诺数据集上证明训练过程的正确性,同时不泄露数据或参数。我们做出三项关键贡献:(1)兼容算术电路的定点化XGBoost实现,支持高效零知识训练证明的实例化;(2)适用于任意通用零知识证明后端的XGBoost零知识训练证明通用模板;(3)基于向量不经意线性评估的实例化方案,解决了非线性定点运算验证中的关键挑战。我们的定点化实现在保持与标准XGBoost精度误差小于1%的同时,实现了对现实数据集的实用化零知识训练证明。

0
下载
关闭预览

相关内容

xgboost的全称是eXtreme Gradient Boosting,它是Gradient Boosting Machine的一个C++实现,并能够自动利用CPU的多线程进行并行,同时在算法上加以改进提高了精度。
【WWW2021】本体增强零样本学习
专知会员服务
35+阅读 · 2021年2月26日
专知会员服务
40+阅读 · 2020年6月19日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
R语言机器学习:xgboost的使用及其模型解释
R语言中文社区
11+阅读 · 2019年5月6日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Zero-Shot Learning相关资源大列表
专知
52+阅读 · 2019年1月1日
计算:XGBoost背后的数学之美
论智
12+阅读 · 2018年8月20日
xgboost特征选择
数据挖掘入门与实战
39+阅读 · 2017年10月5日
LibRec 每周算法:Kaggle竞赛利器之xgboost
LibRec智能推荐
15+阅读 · 2017年8月24日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
R语言机器学习:xgboost的使用及其模型解释
R语言中文社区
11+阅读 · 2019年5月6日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Zero-Shot Learning相关资源大列表
专知
52+阅读 · 2019年1月1日
计算:XGBoost背后的数学之美
论智
12+阅读 · 2018年8月20日
xgboost特征选择
数据挖掘入门与实战
39+阅读 · 2017年10月5日
LibRec 每周算法:Kaggle竞赛利器之xgboost
LibRec智能推荐
15+阅读 · 2017年8月24日
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员