Modern cloud-based AI training relies on extensive telemetry and logs to ensure accountability. While these audit trails enable retrospective inspection, they struggle to address the inherent non-determinism of deep learning. Stochastic operations, such as dropout, create an ambiguity surface where attackers can mask malicious manipulations as natural random variance, granting them plausible deniability. Consequently, existing logging mechanisms cannot verify whether stochastic values were generated and applied honestly without exposing sensitive training data. To close this integrity gap, we introduce Verifiable Dropout, a privacy-preserving mechanism based on zero-knowledge proofs. We treat stochasticity not as an excuse but as a verifiable claim. Our approach binds dropout masks to a deterministic, cryptographically verifiable seed and proves the correct execution of the dropout operation. This design enables users to audit the integrity of stochastic training steps post-hoc, ensuring that randomness was neither biased nor cherry-picked, while strictly preserving the confidentiality of the model and data.


翻译:现代基于云的人工智能训练依赖广泛的遥测和日志来确保可问责性。虽然这些审计记录支持追溯检查,却难以应对深度学习固有的非确定性。随机操作(如Dropout)会形成模糊界面,攻击者可将恶意篡改伪装成自然随机变异,从而获得合理的可否认性。因此,现有日志机制无法在不暴露敏感训练数据的前提下验证随机值是否被诚实生成与应用。为弥补这一完整性缺口,我们提出可验证Dropout——一种基于零知识证明的隐私保护机制。我们将随机性视为可验证声明而非借口。该方法将Dropout掩码与确定性、可密码学验证的种子绑定,并证明Dropout操作的正确执行。该设计使用户能够事后审计随机训练步骤的完整性,确保随机性既无偏差也未经过人为筛选,同时严格保护模型与数据的机密性。

0
下载
关闭预览

相关内容

【ICCV2023】保留模态结构改进多模态学习
专知会员服务
31+阅读 · 2023年8月28日
【CVPR2023】正则化二阶影响的持续学习
专知会员服务
19+阅读 · 2023年4月22日
专知会员服务
15+阅读 · 2021年7月21日
专知会员服务
63+阅读 · 2021年3月12日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【ICCV2023】保留模态结构改进多模态学习
专知会员服务
31+阅读 · 2023年8月28日
【CVPR2023】正则化二阶影响的持续学习
专知会员服务
19+阅读 · 2023年4月22日
专知会员服务
15+阅读 · 2021年7月21日
专知会员服务
63+阅读 · 2021年3月12日
相关基金
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员