Low-Rank Adaptation (LoRA) is widely used to customize large language models, but third-party adapters create supply-chain backdoor risks with under 1% modified parameters. Recent analytical null-space and subspace projection defenses report near-zero static Attack Success Rates (ASR), equating static silence with erasure. We audit subspace-projection defenses across four scales (Qwen2.5-0.5B/1.5B/3B/7B), three architectures (Qwen2.5, InternLM2.5-1.8B, Spark-X2.6-4B), and five trigger families (suffix, natural phrase, prefix/in-sentence, double-negation syntax, and composite triggers). Statically, module-wise rank-1 trigger-difference projection cuts ASR from 60.4% to 0.0% on standard suites and 70.3% to 0.0% on 1,000 uncontaminated prompts (p = 3.055e-299) in under 5 s. By Theorem 1 (11,880/11,880 module-sample pairs), low-rank bottleneck amplification aligns benign polite-suffix probes with u_1(B) (median cosine 0.8934-0.9705), reaching 0.0% ASR without trigger knowledge. However, static suppression is not erasure. Under 5-sample reactivation, single-round weight-editing baselines rebound to 91.7%-100.0% ASR in Epoch 1 (Fine-Pruning, ANP, NEEDLE, LoRA-Patch; 48.7% for single-round dual projection) and 100.0% by Epoch 2. Theorem 2 and Corollary 1 prove single-sided projection leaves non-zero gradients along u_1 across 168/168 modules (27.2x-31.1x above random expectation), while Haar orthogonal rotation shows Epoch-2 immunity depends on semantic alignment rather than Frobenius norm. Guided by Theorems 1-2, we propose Single-Shot Rank-k Dual-Subspace Erasure (DSE) and Benign Subspace Anchoring (DSE-BA), achieving 0.0% static ASR and 0.0% Epoch-1 reactivation across all five trigger families and Qwen2.5-0.5B/1.5B, while cutting Epoch-2 ASR to 25.0% (43.33% +/- 2.49% on 50 prompts x 3 seeds) and benign PPL to 6.54.


翻译:暂无翻译

0
下载
关闭预览

相关内容

《对抗环境下面向特种作战的LoRa通信》最新130页
【ICLR2025】大型语言模型的动态低秩稀疏适应
专知会员服务
14+阅读 · 2025年2月21日
大语言模型的LoRA研究综述
专知会员服务
55+阅读 · 2024年7月17日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
论文浅尝 | Global Relation Embedding for Relation Extraction
开放知识图谱
12+阅读 · 2019年3月3日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
论文浅尝 | Improved Neural Relation Detection for KBQA
开放知识图谱
13+阅读 · 2018年1月21日
Word2Vec 与 GloVe 技术浅析与对比
LibRec智能推荐
25+阅读 · 2017年5月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2013年12月31日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
17+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
14+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
30+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
14+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员