Short-form video moderation increasingly needs learning pipelines that protect user privacy without paying the full bandwidth and latency cost of cloud-centralized inference. We present FedVideoMAE, an on-device federated framework for video violence detection that combines self-supervised VideoMAE representations, LoRA-based parameter-efficient adaptation, client-side DP-SGD, and server-side secure aggregation. By updating only 5.5M parameters (about 3.5% of a 156M backbone), FedVideoMAE reduces communication by 28.3x relative to full-model federated updates while keeping raw videos on device throughout training. On RWF-2000 with 40 clients, the method reaches 77.25% accuracy without privacy protection and 65~66% under strong differential privacy. We further show that this privacy gap is consistent with an effective-SNR analysis tailored to the small-data, parameter-efficient federated regime, which indicates roughly 8.5~12x DP-noise amplification in our setting. To situate these results more clearly, we also compare against archived full-model federated baselines and summarize auxiliary transfer behavior on RLVS and binary UCF-Crime. Taken together, these findings position FedVideoMAE as a practical operating point for privacy-preserving video moderation on edge devices. Our code can be found at: https://github.com/zyt-599/FedVideoMAE.


翻译:短视频审核日益需要能够保护用户隐私的学习流水线,同时避免云集中式推理带来的带宽和延迟成本。我们提出了FedVideoMAE——一个用于视频暴力检测的设备端联邦框架,该框架结合了自监督VideoMAE表示、基于LoRA的参数高效适配、客户端DP-SGD以及服务端安全聚合。通过仅更新5.5M参数(约为156M骨干网络的3.5%),FedVideoMAE相比全模型联邦更新将通信量降低28.3倍,同时在整个训练过程中保持原始视频存储在设备端。在包含40个客户端的RWF-2000数据集上,该方法在无隐私保护下达到77.25%的准确率,在强差分隐私下达到65%至66%。我们进一步表明,该隐私差距与针对小数据、参数高效联邦场景定制的有效信噪比分析结果一致,该分析表明在我们的设置中DP噪声放大约为8.5至12倍。为更清晰地定位这些结果,我们还对比了存档的全模型联邦基线,并总结了在RLVS和二元UCF-Crime上的辅助迁移行为。综合来看,这些发现将FedVideoMAE定位为边缘设备上实现隐私保护视频审核的一个实用工作点。我们的代码可在:https://github.com/zyt-599/FedVideoMAE 获取。

0
下载
关闭预览

相关内容

「联邦学习隐私保护 」最新2022研究综述
专知会员服务
117+阅读 · 2022年4月1日
视频隐私保护技术综述
专知会员服务
35+阅读 · 2022年1月19日
专知会员服务
12+阅读 · 2021年9月10日
专知会员服务
94+阅读 · 2021年7月23日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
专知会员服务
113+阅读 · 2020年11月16日
专知会员服务
127+阅读 · 2020年8月7日
「联邦学习隐私保护 」最新2022研究综述
专知
16+阅读 · 2022年4月1日
联邦学习安全与隐私保护研究综述
专知
12+阅读 · 2020年8月7日
【资源】联邦学习相关文献资源大列表
专知
10+阅读 · 2020年2月25日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
面向2027年及未来的海军情报改革
专知会员服务
0+阅读 · 今天15:49
综述 | Self-Evolving Coding Agents:自进化编程智能体
专知会员服务
0+阅读 · 今天13:16
美海军陆战队将三型无人机整合入统一战场网络
专知会员服务
2+阅读 · 今天9:39
《无人机蜂群:释放人类-蜂群编队的潜能》
专知会员服务
4+阅读 · 今天9:12
《战略战术化:一项综合性述评》
专知会员服务
2+阅读 · 今天9:08
相关VIP内容
「联邦学习隐私保护 」最新2022研究综述
专知会员服务
117+阅读 · 2022年4月1日
视频隐私保护技术综述
专知会员服务
35+阅读 · 2022年1月19日
专知会员服务
12+阅读 · 2021年9月10日
专知会员服务
94+阅读 · 2021年7月23日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
专知会员服务
113+阅读 · 2020年11月16日
专知会员服务
127+阅读 · 2020年8月7日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员