刘鹤¹，季宇¹，韩建辉²，张悠慧¹，郑纬民¹

¹（清华大学计算机科学与技术系 北京 100084）；²（清华大学微电子学研究所 北京 100084) (liuhe94@hotmail.com)

出版日期: 2019-06-01


基金资助:国防科技创新特区项目

Training and Software Simulation for ReRAM-Based LSTM Neural Network Acceleration

Liu He¹, Ji Yu¹, Han Jianhui², Zhang Youhui¹， Zheng Weimin¹

¹（Deparment of Computer Science and Technology, Tsinghua University, Beijing 100084）；²（Institute of Microelectronics, Tsinghua University, Beijing 100084)

Online: 2019-06-01


Supported by:This work was supported by the Science and Technology Innovation Special Zone Project.

摘要/Abstract

摘要： 长短期记忆(long short-term memory, LSTM)网络是一种循环神经网络，其擅长处理和预测时间序列中间隔和延迟较长的事件，多用于语音识别、机器翻译等领域.然而受限于内存带宽的限制，现今的多数神经网络加速器件的计算模式并不能高效处理长短期记忆网络计算；而阻变存储器交叉开关结构能够以存内计算形式完成高效、高密度的向量矩阵乘运算，从而成为一种高效处理长短期记忆网络的极具潜力的加速器设计模式.研究了面向阻变存储器的长短期记忆神经网络加速器模拟工具以及相应的神经网络训练算法.该模拟工具能够以时钟驱动的形式模拟设计者提出的以阻变存储器交叉开关结构为核心加速部件的长短期记忆加速器微体系结构，从而进行设计空间探索；同时改进了神经网络训练算法以适应阻变存储器特性.这一模拟工具基于System-C实现，且对于核心计算部分实现了图形处理器加速，可以提高阻变存储器器件的仿真速度，为探索设计空间提供便利.

参考文献

相关文章 15

[1]	刘颖, 杨轲. 基于深度集成学习的类极度不均衡数据信用欺诈检测算法[J]. 计算机研究与发展, 2021, 58(3): 539-547.
[2]	曾碧卿, 曾锋, 韩旭丽, 商齐. 基于交互特征表示的评价对象抽取模型[J]. 计算机研究与发展, 2021, 58(1): 224-232.
[3]	陈珂锐, 孟小峰. 机器学习的可解释性[J]. 计算机研究与发展, 2020, 57(9): 1971-1986.
[4]	陈彦敏, 王皓, 马建辉, 杜东舫, 赵洪科. 基于层级注意力机制的互联网用户信用评估框架[J]. 计算机研究与发展, 2020, 57(8): 1755-1768.
[5]	林培光, 周佳倩, 温玉莲. SCONV：一种基于情感分析的金融市场趋势预测方法[J]. 计算机研究与发展, 2020, 57(8): 1769-1778.
[6]	李若南, 李金宝. 一种无源被动室内区域定位方法的研究[J]. 计算机研究与发展, 2020, 57(7): 1381-1392.
[7]	邢新颖, 冀俊忠, 姚垚. 基于自适应多任务卷积神经网络的脑网络分类方法[J]. 计算机研究与发展, 2020, 57(7): 1449-1459.
[8]	于海涛, 杨小汕, 徐常胜. 基于多模态输入的对抗式视频生成方法[J]. 计算机研究与发展, 2020, 57(7): 1522-1530.
[9]	卢海峰, 顾春华, 罗飞, 丁炜超, 杨婷, 郑帅. 基于深度强化学习的移动边缘计算任务卸载研究[J]. 计算机研究与发展, 2020, 57(7): 1539-1554.
[10]	王庆林, 李东升, 梅松竹, 赖志权, 窦勇. 面向飞腾多核处理器的Winograd快速卷积算法优化[J]. 计算机研究与发展, 2020, 57(6): 1140-1151.
[11]	成科扬, 王宁, 师文喜, 詹永照. 深度学习可解释性研究进展[J]. 计算机研究与发展, 2020, 57(6): 1208-1217.
[12]	蓝天, 彭川, 李森, 叶文政, 李萌, 惠国强, 吕忆蓝, 钱宇欣, 刘峤. 单声道语音降噪与去混响研究综述[J]. 计算机研究与发展, 2020, 57(5): 928-953.
[13]	张艺璇, 郭斌, 刘佳琪, 欧阳逸, 於志文. 基于多级注意力机制网络的app流行度预测[J]. 计算机研究与发展, 2020, 57(5): 984-995.
[14]	孙胜, 李叙晶, 刘敏, 杨博, 过晓冰. 面向异构IoT设备协作的DNN推断加速研究[J]. 计算机研究与发展, 2020, 57(4): 709-722.
[15]	马陈城, 杜学绘, 曹利峰, 吴蓓. 基于深度神经网络burst特征分析的网站指纹攻击方法[J]. 计算机研究与发展, 2020, 57(4): 746-766.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3943