孟子尧^1,2, 谷雪^1,2, 梁艳春^1,2, 许东³, 吴春国¹

¹（符号计算与知识工程教育部重点实验室(吉林大学) 长春 130012）；²（符号计算与知识工程教育部重点实验室珠海分实验室(吉林大学珠海学院) 广东珠海 519041）；³（密苏里大学哥伦比亚分校电子工程与计算机科学系 美国密苏里州哥伦比亚 MO65211) (zy-meng@outlook.com)

出版日期: 2021-01-01


基金资助:国家自然科学基金项目(61972174,61876069,61876207)；吉林省重点研发项目(20180201045GX,20180201067GX)；吉林省自然科学基金项目(20200201163JC)；广东省科技计划项目(2020A0505100018)；广东省应用基础研究重点项目(2018KZDXM076)；广东省优势重点学科项目(2016GDYSZDXK036)

Deep Neural Architecture Search: A Survey

Meng Ziyao^1,2, Gu Xue^1,2, Liang Yanchun^1,2, Xu Dong³, Wu Chunguo¹

¹（Key Laboratory of Symbol Computation and Knowledge Engineering (Jilin University), Ministry of Education, Changchun 130012）；²（Zhuhai Laboratory of Key Laboratory of Symbol Computation and Knowledge Engineering (Zhuhai College of Jilin University), Ministry of Education, Zhuhai, Guangdong 519041）；³（Department of Electrical Engineering and Computer Science, University of Missouri-Columbia, Columbia, Missouri, USA MO65211)

Online: 2021-01-01


Supported by:This work was supported by the National Natural Science Foundation of China (61972174, 61876069, 61876207), the Key Research and Development Project of Jilin Province (20180201045GX, 20180201067GX), the Natural Science Foundation of Jilin Province(20200201163JC), the Science and Technology Planning Project of Guangdong Province (2020A0505100018), the Guangdong Key-Project for Applied Fundamental Research (2018KZDXM076), and the Guangdong Premier Key-Discipline Enhancement Scheme (2016GDYSZDXK036).

摘要/Abstract

摘要： 深度学习在图像、语音、文本等多种模态的数据任务上取得了优异的效果.然而，针对特定任务，人工设计网络需要花费大量的时间，并且需要设计者具有一定水平的专业知识和设计经验.面对如今日趋复杂的网络架构，仅依靠人工进行设计变得越来越复杂.基于此，借助算法自动地对神经网络进行架构的搜索成为了研究热点.神经架构搜索的方法涉及3个方面：搜索空间、搜索策略、性能评估策略.通过搜索策略在搜索空间中选择一个网络架构，借助性能评估策略对该网络架构进行评估，并将结果反馈给搜索策略指导搜索策略选择更好的网络架构，通过不断迭代得到最优的网络架构.为了更好地为读者提供一个快速了解神经网络架构搜索方法的导航地图，从搜索空间、搜索策略和性能评估策略3个方面对现有典型的神经架构搜索方法进行了梳理，总结讨论了近年来常见的架构搜索方法，并分析了各种方法的优势和不足.

参考文献

相关文章 15

[1]	渠鹏, 陈嘉杰, 张悠慧, 郑纬民. 实现软硬件解耦合的类脑计算硬件设计方法[J]. 计算机研究与发展, 2021, 58(6): 1146-1154.
[2]	王慧娇, 丛鹏, 蒋华, 韦永壮. 基于深度学习的SIMON32/64安全性分析[J]. 计算机研究与发展, 2021, 58(5): 1056-1064.
[3]	潘旭东, 张谧, 颜一帆, 陆逸凡, 杨珉. 通用深度学习语言模型的隐私风险评估[J]. 计算机研究与发展, 2021, 58(5): 1092-1105.
[4]	李明慧, 江沛佩, 王骞, 沈超, 李琦. 针对深度学习模型的对抗性攻击与防御[J]. 计算机研究与发展, 2021, 58(5): 909-926.
[5]	汪嘉来, 张超, 戚旭衍, 荣易. Windows平台恶意软件智能检测综述[J]. 计算机研究与发展, 2021, 58(5): 977-994.
[6]	周纯毅, 陈大卫, 王尚, 付安民, 高艳松. 分布式深度学习隐私与安全攻击研究进展与挑战[J]. 计算机研究与发展, 2021, 58(5): 927-943.
[7]	汪烨, 陈骏武, 夏鑫, 姜波. 智能需求获取与建模研究综述[J]. 计算机研究与发展, 2021, 58(4): 683-705.
[8]	吴宗友, 白昆龙, 杨林蕊, 王仪琦, 田英杰. 电子病历文本挖掘研究综述[J]. 计算机研究与发展, 2021, 58(3): 513-527.
[9]	廖海斌, 徐斌. 基于性别和年龄因子分析的鲁棒性人脸表情识别[J]. 计算机研究与发展, 2021, 58(3): 528-538.
[10]	付章杰, 李恩露, 程旭, 黄永峰, 胡雨婷. 基于深度学习的图像隐写研究进展[J]. 计算机研究与发展, 2021, 58(3): 548-568.
[11]	古天龙, 冯旋, 李龙, 包旭光, 李云辉. 基于社会新闻数据集的伦理行为判别方法[J]. 计算机研究与发展, 2021, 58(2): 253-263.
[12]	陈晋音, 陈奕芃, 陈一鸣, 郑海斌, 纪守领, 时杰, 程瑶. 面向深度学习的公平性研究综述[J]. 计算机研究与发展, 2021, 58(2): 264-280.
[13]	李金鹏, 张闯, 陈小军, 胡玥, 廖鹏程. 自动文本摘要研究综述[J]. 计算机研究与发展, 2021, 58(1): 1-21.
[14]	朱泓睿, 元国军, 姚成吉, 谭光明, 王展, 户忠哲, 张晓扬, 安学军. 分布式深度学习训练网络综述[J]. 计算机研究与发展, 2021, 58(1): 98-115.
[15]	林培光, 周佳倩, 温玉莲. SCONV：一种基于情感分析的金融市场趋势预测方法[J]. 计算机研究与发展, 2020, 57(8): 1769-1778.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4326