Blockwise distillation methods for architecture search, such as DNA, DONNA, LANA and Puzzle, score each candidate replacement block in isolation and combine the scores additively. We ask at which budgets this additivity assumption fails, whether fine-tuning repairs the failure, what diagnoses it, and how it can be repaired cheaply. On DeiT-S, DeiT-B, Swin-T and Qwen2.5-0.5B with seven latency budgets each, an additive integer program trails a pairwise interaction-aware program after fine-tuning by at most 1.6 top-1 points on ImageNet-1k at the mildest budgets, but by up to 17.5 points, and a factor of 1.9 in perplexity, at aggressive ones. After 10,000 fine-tuning steps 3.3-9.9 points remain on DeiT, whereas on Swin-T the gap shrinks to at most about 1.8 points within 500 steps. In a learning-rate sweep with the standard 2,000 steps, 6.0-10.7 points remain on DeiT when each method's rate is chosen by its evaluation-set accuracy. An intervention that keeps the block library and only forbids more than two removals in any three adjacent layers shrinks the DeiT gap from 5.8-17.5 to 0.7-5.2 points, mostly by improving the additive solution: adjacent removals are a major failure pattern. Splitting the additivity error into a metric and a functional part, relative to additive logit changes, indicates where a cheap logit-sum predictor can be trusted. A hybrid search that ranks moves with this predictor and measures only the best needs no pair measurements and, after Holm adjustment, is significantly better than the pairwise program in 10 of 14 ImageNet-1k settings, with no statistically significant losses. An ablation shows that its ranking helps except at the most aggressive DeiT-B budget, where the predictor misleads and random ranking or ten-times-costlier evolution does better.


翻译:暂无翻译

0
下载
关闭预览

相关内容

论文荐读:理解图表示学习中的负采样
学术头条
29+阅读 · 2020年5月29日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
14+阅读 · 2018年4月27日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
论文浅尝 | Improved Neural Relation Detection for KBQA
开放知识图谱
13+阅读 · 2018年1月21日
论文浅尝 | Question Answering over Freebase
开放知识图谱
19+阅读 · 2018年1月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年9月30日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
13+阅读 · 2022年8月16日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
25+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
10+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
12+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
12+阅读 · 11月6日
“星链”减速与不断适应的乌克兰
专知会员服务
10+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
7+阅读 · 11月6日
相关VIP内容
相关资讯
论文荐读:理解图表示学习中的负采样
学术头条
29+阅读 · 2020年5月29日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
14+阅读 · 2018年4月27日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
论文浅尝 | Improved Neural Relation Detection for KBQA
开放知识图谱
13+阅读 · 2018年1月21日
论文浅尝 | Question Answering over Freebase
开放知识图谱
19+阅读 · 2018年1月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年9月30日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员