庄连生¹,吕扬¹,杨健^2,3,李厚强¹

¹(中国科学技术大学信息科学技术学院 合肥 230027);²(军事科学院系统工程研究院 北京 100191);³(鹏城实验室 广东深圳 518000) (lszhuang@ustc.edu.cn)

出版日期: 2019-12-01


基金资助:国家自然科学基金项目(61472379)

Long Term Recurrent Neural Network with State-Frequency Memory

Zhuang Liansheng¹, Lü Yang¹, Yang Jian^2,3, Li Houqiang¹

¹(School of Information Science and Technology, University of Science and Technology of China,Hefei 230027);²(Institute of System Engineering, Academy of Military Science, Beijing 100191);³(Peng Cheng Laboratory, Shenzhen, Guangdong 518000)

Online: 2019-12-01

摘要/Abstract

摘要： 时间序列建模问题因有着重要的应用价值已经成为机器学习领域的研究热点之一.循环神经网络(recurrent neural network, RNN)是近年来时间序列建模的一个重要工具.但是，现有循环神经网络无法处理长时依赖关系的时序数据，也没有在频域对时间序列数据的特征模式进行建模.对于那些包含长时依赖且频率成分丰富的时序数据，这2个问题大大限制了现有循环神经网络的性能.针对这些问题，提出了时频联合长时循环神经网络(long term recurrent neural network with state-frequency memory, LTRNN-SFM)，通过将传统循环神经网络隐藏层的状态向量替换为状态-频率矩阵，实现对时间序列的时域特征和频域特征的联合建模.同时，通过解耦隐藏层神经元、引入ReLU(rectified linear unit)激活函数和权重裁剪，该模型可以有效避免梯度消失和梯度爆炸问题的干扰，使得深层网络训练更加容易、网络记忆周期更长.实验表明：时频联合长时循环神经网络在处理长时依赖且频率成分丰富的时序数据上，取得了最好的性能.

参考文献

相关文章 10

[1]	刘烨, 黄金筱, 马于涛. 基于混合神经网络和注意力机制的软件缺陷自动分派方法[J]. 计算机研究与发展, 2020, 57(3): 461-473.
[2]	朱兆坤, 李金宝. 多特征信息融合LSTM-RNN检测OSA方法[J]. 计算机研究与发展, 2020, 57(12): 2547-2555.
[3]	刘奇旭, 刘心宇, 罗成, 王君楠, 陈浪平, 刘嘉熹. 基于双向循环神经网络的安卓浏览器指纹识别方法[J]. 计算机研究与发展, 2020, 57(11): 2294-2311.
[4]	张潇,支天. 面向多核处理器的机器学习推理框架[J]. 计算机研究与发展, 2019, 56(9): 1977-1987.
[5]	刘颉羲,陈松灿. 基于混合门单元的非平稳时间序列预测[J]. 计算机研究与发展, 2019, 56(8): 1642-1651.
[6]	张志昌,张珍文,张治满. 基于IndRNN-Attention的用户意图分类[J]. 计算机研究与发展, 2019, 56(7): 1517-1524.
[7]	张祥文,陆紫耀,杨静,林倩,卢宇,王鸿吉,苏劲松. 基于带权词格的循环神经网络句子语义表示建模[J]. 计算机研究与发展, 2019, 56(4): 854-865.
[8]	吴法民,吕广奕,刘淇,何明,常标,何伟栋,钟辉,张乐. 视频实时评论的深度语义表征方法[J]. 计算机研究与发展, 2019, 56(2): 293-305.
[9]	陈昱,刘中金,赵威威,马原,石志强,孙利民. 一种大规模的跨平台同源二进制文件检索方法[J]. 计算机研究与发展, 2018, 55(7): 1498-1507.
[10]	王 权 陈松灿. 基于l1-正则化的ELM回归集成学习[J]. , 2012, 49(12): 2631-2637.

PDF全文下载地址:

https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=4066