(中国科学技术大学 合肥 230022) (zhengwu@mail.ustc.edu.cn)
出版日期: 2019-04-01基金资助:国家自然科学基金项目(61520106005，61761136014)；国家重点研发计划项目(2017YFB1010000)Research and Optimization of Fast Convolution Algorithm Winograd on Intel Platform
Wu Zheng, An Hong, Jin Xu, Chi Mengxian, Lü Guofeng, Wen Ke, Zhou Xin(University of Science and Technology of China, Hefei 230022)
Online: 2019-04-01摘要/Abstract
摘要： 随着深度学习的快速发展，其在语音处理、图像识别和自然语言理解等领域被广泛应用，为科研产业以及日常生活带去了巨大的变革.Intel紧跟深度学习的浪潮，推出了第2代Xeon Phi处理器KNL(knights landing)，其后又发布了第3代Xeon Phi处理器KNM(knights mill)，为深度学习的蓬勃发展带去了新的活力.通过在Intel平台上进行快速卷积算法Winograd的研究与优化，对比Intel MKL(math kernel library) DNN(deep neural network)中的卷积性能，推动Intel MKL DNN中深度神经网络接口的完善以及Intel平台上深度学习的发展.研究中结合Intel最新深度学习平台的AVX-512指令集、高速内存MCDRAM、多Memory/SNC模式、二维网格状内核结构等特性，并通过对内存分配、数据调度等情况的分析，设计优化Winograd算法，一方面选取典型的卷积神经网络(convolutional neural network, CNN)网络模型VGG19，测试对比Intel MKL DNN的卷积实现，最终取得了2倍多的性能加速比；另一方面，通过测试常用卷积类型，对比Intel MKL DNN和NVIDIA cuDNN，验证了实现的Winograd对于常用卷积类型具有很好的适用性且具有实际使用价值.该研究工作期望为Intel平台在深度学习领域的发展提供重要的指导意义.
参考文献
相关文章 15
| [1] | 吴宗友, 白昆龙, 杨林蕊, 王仪琦, 田英杰. 电子病历文本挖掘研究综述[J]. 计算机研究与发展, 2021, 58(3): 513-527. |
| [2] | 廖海斌, 徐斌. 基于性别和年龄因子分析的鲁棒性人脸表情识别[J]. 计算机研究与发展, 2021, 58(3): 528-538. |
| [3] | 付章杰, 李恩露, 程旭, 黄永峰, 胡雨婷. 基于深度学习的图像隐写研究进展[J]. 计算机研究与发展, 2021, 58(3): 548-568. |
| [4] | 古天龙, 冯旋, 李龙, 包旭光, 李云辉. 基于社会新闻数据集的伦理行为判别方法[J]. 计算机研究与发展, 2021, 58(2): 253-263. |
| [5] | 陈晋音, 陈奕芃, 陈一鸣, 郑海斌, 纪守领, 时杰, 程瑶. 面向深度学习的公平性研究综述[J]. 计算机研究与发展, 2021, 58(2): 264-280. |
| [6] | 李金鹏, 张闯, 陈小军, 胡玥, 廖鹏程. 自动文本摘要研究综述[J]. 计算机研究与发展, 2021, 58(1): 1-21. |
| [7] | 孟子尧, 谷雪, 梁艳春, 许东, 吴春国. 深度神经架构搜索综述[J]. 计算机研究与发展, 2021, 58(1): 22-33. |
| [8] | 朱泓睿, 元国军, 姚成吉, 谭光明, 王展, 户忠哲, 张晓扬, 安学军. 分布式深度学习训练网络综述[J]. 计算机研究与发展, 2021, 58(1): 98-115. |
| [9] | 林培光, 周佳倩, 温玉莲. SCONV：一种基于情感分析的金融市场趋势预测方法[J]. 计算机研究与发展, 2020, 57(8): 1769-1778. |
| [10] | 李若南, 李金宝. 一种无源被动室内区域定位方法的研究[J]. 计算机研究与发展, 2020, 57(7): 1381-1392. |
| [11] | 李冬梅, 张扬, 李东远, 林丹琼. 实体关系抽取方法研究综述[J]. 计算机研究与发展, 2020, 57(7): 1424-1448. |
| [12] | 邢新颖, 冀俊忠, 姚垚. 基于自适应多任务卷积神经网络的脑网络分类方法[J]. 计算机研究与发展, 2020, 57(7): 1449-1459. |
| [13] | 胡超文, 邬昌兴, 杨亚连. 基于扩展的S-LSTM的文本蕴含识别[J]. 计算机研究与发展, 2020, 57(7): 1481-1489. |
| [14] | 于海涛, 杨小汕, 徐常胜. 基于多模态输入的对抗式视频生成方法[J]. 计算机研究与发展, 2020, 57(7): 1522-1530. |
| [15] | 王庆林, 李东升, 梅松竹, 赖志权, 窦勇. 面向飞腾多核处理器的Winograd快速卷积算法优化[J]. 计算机研究与发展, 2020, 57(6): 1140-1151. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3911
