Differentiable Neural Architecture Search (NAS) provides efficient, gradient-based methods for automatically designing neural networks, yet its adoption remains limited in practice. We present MIDAS, a novel approach that modernizes DARTS by replacing static architecture parameters with dynamic, input-specific parameters computed via self-attention. To improve robustness, MIDAS (i) localizes the architecture selection by computing it separately for each spatial patch of the activation map, and (ii) introduces a parameter-free, topology-aware search space that models node connectivity and simplifies selecting the two incoming edges per node. We evaluate MIDAS on the DARTS, NAS-Bench-201, and RDARTS search spaces. In DARTS, it reaches 97.42% top-1 on CIFAR-10 and 83.38% on CIFAR-100. In NAS-Bench-201, it consistently finds globally optimal architectures. In RDARTS, it sets the state of the art on two of four search spaces on CIFAR-10. We further analyze why MIDAS works, showing that patchwise attention improves discrimination among candidate operations, and the resulting input-specific parameter distributions are class-aware and predominantly unimodal, providing reliable guidance for decoding.


翻译:可微分神经架构搜索(NAS)提供了基于梯度的有效方法来自动设计神经网络,但其在实际应用中的采用仍然有限。我们提出MIDAS,这是一种新颖的方法,它通过将静态架构参数替换为由自注意力计算的动态、输入特定参数,从而现代化DARTS。为提高鲁棒性,MIDAS(i)通过为激活图的每个空间补丁单独计算架构选择来实现局部化选择;(ii)引入了一种无参数、拓扑感知的搜索空间,该空间建模节点连接性并简化了每个节点的两条入边的选择。我们在DARTS、NAS-Bench-201和RDARTS搜索空间上评估MIDAS。在DARTS中,它在CIFAR-10上达到97.42%的top-1准确率,在CIFAR-100上达到83.38%。在NAS-Bench-201中,它始终能找到全局最优架构。在RDARTS中,它在CIFAR-10的四个搜索空间中的两个上取得了最先进的性能。我们进一步分析了MIDAS有效的原因,表明补丁级注意力提高了候选操作之间的区分度,并且产生的输入特定参数分布具有类别感知性且主要为单峰分布,为解码提供了可靠的指导。

0
下载
关闭预览

相关内容

互联网
【Google AI-Yi Tay】Transformer记忆为可微搜索索引”(DSI)
专知会员服务
10+阅读 · 2022年3月4日
专知会员服务
20+阅读 · 2021年9月16日
最新《神经架构搜索NAS》报告,附46页ppt与视频
专知会员服务
37+阅读 · 2020年12月30日
DARPA可解释人工智能
专知会员服务
133+阅读 · 2020年12月22日
【NeurIPS 2020 】神经网络结构生成优化
专知会员服务
21+阅读 · 2020年10月24日
【NeurIPS 2019】7篇自动化神经网络搜索(NAS)论文简读
中国人工智能学会
15+阅读 · 2019年9月13日
深度解读:小米AI实验室AutoML团队最新成果FairNAS
PaperWeekly
32+阅读 · 2019年7月11日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
美军MAVEN项目全面解析:算法战架构
专知会员服务
8+阅读 · 今天8:36
从俄乌战场看“马赛克战”(万字长文)
专知会员服务
6+阅读 · 今天8:19
最新“指挥控制”领域出版物合集(16份)
专知会员服务
13+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
19+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
4+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
5+阅读 · 4月12日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员