作者丨江渚碧

学校丨武汉大学

研究方向丨智能计算

模型地址：

https://github.com/xiaomi-automl/SCARLET-NAS

One-shot路线之优劣

引入恒等变换

恒等变换（Identity mapping，ID）即跳接，在当前层的可选择运算模块（Choice block）中加入这个操作，可以从上一层直接越过连到当前层的下一层，从而实现层数的压缩，听上去很靠谱，但当引入 ID 后 one-shot 超网训练如何呢？

根据 SCARLET 做的实验看，单单加上 ID 就直接导致了超网训练的大幅波动，在选择了 ID 的那条路径，模型能力迅速下降，严重影响了整个超网的参数更新。

增加线性等价变换

▲ Fig 3.  情形一，线性等价变换前后表征能力等价的证明

与当前最好模型对比

从表中看出，SCARLET 这次打的是 EfficientNet 同量级模型 B0，SCARLET-A、B 均用了明显更少的 FLOPs，大幅超过或齐平 B0。而 SCARLET-C 又是超过了自己三部曲第一部中提出的 SOTA 模型 FairNAS-A。

▲ Fig 5. 当前 SOTA 模型在 ImageNet 数据集上的对比

模型结构分析

参考文献

Chu et al., FairNAS: Rethinking Evaluation Fairness of Weight Sharing Neural Architecture Search 

https://arxiv.org/abs/1907.01845 

Chu et al., MoGA: Searching Beyond MobileNetV3 

https://arxiv.org/abs/1908.01314 

Chu et al., ScarletNAS: Bridging the Gap Between Scalability and Fairness in Neural Architecture Search 

https://arxiv.org/abs/1908.06022 

Zoph et al. Learning Transferable Architectures for Scalable Image Recognition 

https://arxiv.org/pdf/1707.07012 

Cai et al: ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware 

https://arxiv.org/abs/1812.00332 

Tan et al., MnasNet: Platform-Aware Neural Architecture Search for Mobile 

https://arxiv.org/abs/1807.11626