任刚^1,2,3,邓攀²,杨超²,吴长茂²

¹(河南工学院计算机科学与技术系 河南新乡 453003); ²(中国科学院软件研究所并行软件与计算科学实验室 北京 100190); ³(中国科学院大学 北京 100049) (rengang2013@iscas.ac.cn)

出版日期: 2018-06-01


基金资助:国家自然科学基金项目(61100066)

MapReduce Back Propagation Algorithm Based on Structure Parallelism

Ren Gang^1,2,3, Deng Pan², Yang Chao², Wu Changmao²

¹(Department of Computer Science and Technology, Henan Institute of Technology, Xinxiang, Henan 453003); ²(Laboratory of Parallel Software and Computational Science, Institute of Software, Chinese Academy of Sciences, Beijing 100190); ³(University of Chinese Academy of Sciences, Beijing 100049)

Online: 2018-06-01

摘要/Abstract

摘要： BP(back propagation)算法是一种常用的神经网络学习算法,而基于Hadoop集群MapReduce编程模型的BP(MapReduce back propagation, MRBP)算法在处理大数据问题时,表现出良好的性能,因而得到了广泛应用.但是,由于该算法缺乏神经节点之间细粒度结构并行的能力,当遇到数据维度较高、网络节点较多时,性能还显不足.另一方面,Hadoop集群计算节点通信不能由用户直接控制,现有基于集群系统的结构并行策略不能直接用于MRBP算法.为此,提出一种适合于Hadoop集群的结构并行MRBP (structure parallelism based MapReduce back propagation, SP-MRBP)算法,该算法将神经网络各层划分为多个结构,通过逐层并行-逐层集成(layer-wise parallelism,layer-wise ensemble, LPLE)的方式,实现了MRBP算法的结构并行.同时,推导出了SP-MRBP算法和MRBP算法计算时间解析表达式,以此分析了2种算法时间差和SP-MRBP算法最优并行规模.据了解,这是首次将结构并行策略引入MRBP算法中.实验表明,当神经网络规模较大时,SP-MRBP较之原算法,具有较好的性能.

参考文献

相关文章 3

[1]	刘艺,雷程,张红旗,杨英杰. 基于MapReduce的OpenFlow网络属性验证技术[J]. 计算机研究与发展, 2016, 53(11): 2500-2511.
[2]	王春磊,张岩峰,鲍玉斌,赵长宽,于戈,高立新. Asyn-SimRank:一种可异步执行的大规模SimRank算法[J]. 计算机研究与发展, 2015, 52(7): 1567-1579.
[3]	李 宁 谢振华 谢俊元 陈世福. SEFNN:一种基于结构进化的前馈神经网络设计算法[J]. , 2006, 43(10): 1713-1718.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3714