(模式分析与机器智能工业和信息化部重点实验室(南京航空航天大学) 南京 211106) (liujiexi@nuaa.edu.cn)
出版日期: 2019-08-01基金资助:国家自然科学基金项目(61732006)Non-Stationary Multivariate Time Series Prediction with MIX Gated Unit
Liu Jiexi, Chen Songcan(MIIT Key Laboratory of Pattern Analysis and Machine Intelligence (Nanjing University of Aeronautics and Astronautics), Nanjing 211106)
Online: 2019-08-01摘要/Abstract
摘要： 非平稳多变量时间序列(non-stationary multivariate time series, NSMTS)预测目前仍是一个具有挑战性的任务.基于循环神经网络的深度学习模型，尤其是基于长短期记忆(long short-term memory, LSTM)和门循环单元(gated recurrent unit, GRU)的神经网络已获得了令人印象深刻的预测性能.尽管LSTM结构上较为复杂，却并不总是在性能上占优.最近提出的最小门单元(minimal gated unit, MGU)神经网络具有更简单的结构，并在图像处理和一些序列处理问题中能够提升训练效率.更为关键的是，实验中我们发现该门单元可以高效运用于NSMTS的预测，并达到了与基于LSTM和GRU的神经网络相当的预测性能.然而，基于这3类门单元的神经网络中，没有任何一类总能保证性能上的优势.为此提出了一种线性混合门单元(MIX gated unit, MIXGU)，试图利用该单元动态调整GRU和MGU的混合权重，以便在训练期间为网络中的每个MIXGU获得更优的混合结构.实验结果表明，与基于单一门单元的神经网络相比，混合2类门单元的MIXGU神经网络具有更优的预测性能.
参考文献
相关文章 15
| [1] | 林培光, 周佳倩, 温玉莲. SCONV：一种基于情感分析的金融市场趋势预测方法[J]. 计算机研究与发展, 2020, 57(8): 1769-1778. |
| [2] | 卢海峰, 顾春华, 罗飞, 丁炜超, 杨婷, 郑帅. 基于深度强化学习的移动边缘计算任务卸载研究[J]. 计算机研究与发展, 2020, 57(7): 1539-1554. |
| [3] | 刘烨, 黄金筱, 马于涛. 基于混合神经网络和注意力机制的软件缺陷自动分派方法[J]. 计算机研究与发展, 2020, 57(3): 461-473. |
| [4] | 杜鹏, 丁世飞. 基于混合词向量深度学习模型的DGA域名检测方法[J]. 计算机研究与发展, 2020, 57(2): 433-446. |
| [5] | 朱兆坤, 李金宝. 多特征信息融合LSTM-RNN检测OSA方法[J]. 计算机研究与发展, 2020, 57(12): 2547-2555. |
| [6] | 刘奇旭, 刘心宇, 罗成, 王君楠, 陈浪平, 刘嘉熹. 基于双向循环神经网络的安卓浏览器指纹识别方法[J]. 计算机研究与发展, 2020, 57(11): 2294-2311. |
| [7] | 许晶航, 左万利, 梁世宁, 王英. 基于图注意力网络的因果关系抽取[J]. 计算机研究与发展, 2020, 57(1): 159-174. |
| [8] | 张潇,支天. 面向多核处理器的机器学习推理框架[J]. 计算机研究与发展, 2019, 56(9): 1977-1987. |
| [9] | 石文浩,孟军,张朋,刘婵娟. 融合CNN和Bi-LSTM的miRNA-lncRNA互作关系预测模型[J]. 计算机研究与发展, 2019, 56(8): 1652-1660. |
| [10] | 张志昌,张珍文,张治满. 基于IndRNN-Attention的用户意图分类[J]. 计算机研究与发展, 2019, 56(7): 1517-1524. |
| [11] | 刘鹤，季宇，韩建辉，张悠慧，郑纬民. 面向阻变存储器的长短期记忆网络加速器的训练和软件仿真[J]. 计算机研究与发展, 2019, 56(6): 1182-1191. |
| [12] | 张祥文,陆紫耀,杨静,林倩,卢宇,王鸿吉,苏劲松. 基于带权词格的循环神经网络句子语义表示建模[J]. 计算机研究与发展, 2019, 56(4): 854-865. |
| [13] | 吴法民,吕广奕,刘淇,何明,常标,何伟栋,钟辉,张乐. 视频实时评论的深度语义表征方法[J]. 计算机研究与发展, 2019, 56(2): 293-305. |
| [14] | 庄连生, 吕扬, 杨健, 李厚强. 时频联合长时循环神经网络[J]. 计算机研究与发展, 2019, 56(12): 2641-2648. |
| [15] | 石乐义,朱红强,刘祎豪,刘佳. 基于相关信息熵和CNN-BiLSTM的工业控制系统入侵检测[J]. 计算机研究与发展, 2019, 56(11): 2330-2338. |
PDF全文下载地址:
https://crad.ict.ac.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=3982
