随着未来航空电子分布式综合和智能组件的开放式集成,有望在混合关键性网络中实现流量动态的接入和调度[7]。而RC流量为事件触发流量,在TT调度窗口之间的间隙进行传输,既有随机性的影响,又需要规避严格的高优先级流量,单纯地采用概率模型或最坏情况下分析模型都难以完备地描述。如果可以预测RC流量的到达顺序,就能使交换节点提前作好RC流量调度的决策,以充分利用传输间隙。
关于网络流量预测的研究中,Sang和Li[8]首次研究并证明了网络流量在短时间内具有可预测性;Levin和Tsao[9]提出了对所有时间间隔具有统计意义的ARIMA(0, 1, 1)模型;张九跃和焦玉栋[10]研究了适用于短时交通流量预测问题的径向基函数(RBF)神经网络算法;赵岩和何鹏[11]研究非线性组合算法,使用支持向量机的方法把ARIMA、ARMA以及GM(1,1)算法的3种网络流量预测结果进行组合;肖甫等[12]研究了基于智能优化的分布式网络流量预测方法;赵季红等[13]提出了一种自适应的核最小均方算法预测卫星网络流量。
考虑到RC流量具有以下特征:应用层到达的规律不同;具有一定的抖动[14],且无法用统计学中的各态历经表示;长时间的偏差累积会产生相位漂移,本文拟采用深度学习的方法进行RC流量预测。长短期记忆网络(Long Short-Term Memory,LSTM)是一种递归神经网络,逐渐地应用于语音文字识别、金融、工业预测等领域中,适用于处理和预测时间序列问题[15-16]。为了预测未来短时间内RC流量的传输情况,本文在前人研究成果的基础上,建立了RC流量的到达序列模型,结合LSTM算法编写了预测软件。为对预测算法进行评估,使用OMNET++工具进行TTE网络仿真,获取RC流量的传输数据,以此为数据集进行训练和测试,并对实验结果进行了分析。
1 TTE网络RC流量传输 TTE网络由端系统(End System,ES)、TTE交换机和与它们相连接的全双工物理链路组成。端系统与交换机之间采用全双工点对点连接方式,交换机之间的互连采用网状结构。
TTE交换机执行存储转发操作。当数据包发送到交换机的输入端口,对应于TT、RC和BE 3种流量类型,交换机识别数据包的目的地址,并根据已配置的静态路由信息将不同类型的数据包在特定输出端口的3种缓冲队列中分别存储,形成优先级输出排队进行转发。
在交换机级联的场景下,结合图 1所示,可以说明TT、RC流量在TTE网络中的传输方式。图中: TR表示流量整形器; TP表示流量监管; FU表示滤波单元; B表示TT流量的缓存区; S表示TT流量的静态调度表; TT表示TT流量的调度器; RC表示RC流量的调度器; 下标“S”表示发送send; 下标“R”表示接收。如图 1所示,任务?1和?2分别负责将RC数据帧τ1和TT数据帧τ2从源端ES1经过交换机SW1发送到目的端ES2。当TT流量和RC流量在链路[ES1, SW1]和[SW1, ES2]上相遇时,交换机内采用及时阻断策略进行避让,即在RC数据帧传输之前,先预计其能否在TT数据帧调度时刻之前完成传输,如果不能完成,就等到TT数据帧传输完成后,再进行RC数据帧的传输。在没有TT流量需要传输时,RC流量将会按照先入先出(First In First Out,FIFO)队列中的存放顺序发送队列QTx中的RC数据帧。
图 1 TTE网络TT、RC流量的传输过程 Fig. 1 Transmission process of TT and RC traffic in TTE network |
图选项 |
及时阻断避让策略适用于具有非常严格的时间确定性需求的系统中,除了传输必须损耗的存储传输时间外,没有其余的延迟干扰,这样将导致了带宽的浪费,使得RC流量的时延大大增加。相关避让策略还有洗牌策略、抢占策略等[17]。
2 RC流量预测 图 2所示为及时阻断策略下的TTE网络流量传输示例。由图中可以看到,影响RC流量传输时延的主要因素在于RC流量存储到队列后不确定的排队等候时间;而这一因素取决于是否能合理利用TT流量的传输间隙。若能提前预测短时间内RC流量的到达序列,在RC流量放入队列之前对其进行计算排序,使得在TT调度窗口之间较小的“孔隙”中分配长度合适的RC流量数据包,不仅能够提高带宽利用率,而且能降低RC流量的传输时延,将起到对TT流量和RC流量的集成问题的优化作用,从而提升TTE网络的通信性能。
图 2 TTE网络流量传输示例 Fig. 2 Examples of TTE network traffic transmission |
图选项 |
图 3为理想状态下的RC流量预测排序效果图,此结果是在图 2所示的TTE网络流量传输示例中,对TTE交换机SW1加入RC流量预测和排序后产生的。
图 3 RC流量预测排序效果 Fig. 3 Sorting effect of RC traffic sorting |
图选项 |
为建立RC流量预测模型,引入时间序列数据用来表示RC流量的到达序列。统计每条RC流量到达交换节点的时刻和数据帧长信息,按照时间顺序用序列{x1, x2, …, xN, xN+1…}表示;其中xi为单位时间i内到达交换节点的RC流量数据帧长,单位时间的时长设置应小于所有RC流量的最小时间间隔,确保每个单位时间内最多只有一条RC流量到达交换节点。
将RC流量的预测问题转换成为数学模型:通过当前时刻已知的前m个单位时间内的RC流量到达时间序列,经过深度学习算法计算,预测未来p个单位时间内的RC流量到达时间序列(p < 0.05m),即得到未来短时间内RC流量到达交换节点的数据帧长顺序。
3 基于LSTM算法的预测模型 针对提出的RC流量预测模型,选取用于处理时间序列数据的循环神经网络(Recurrent Neural Network, RNN)和LSTM算法作为预测算法,本节将阐述其基本原理,进而建立针对RC流量的预测模型,并给出模型预测效果的评价方法。
3.1 RNN算法 RNN是对一个单元结构循环重复使用。图 4所示为标准的RNN模型,一个单元结构中包含输入值x、隐含值h和输出值o,y为真实值,L为真实值与预测值的损失函数;RNN模型由输入层、隐含层和输出层组成,各层分别使用激活函数控制输出,层与层之间通过权重连接[18]。
图 4 RNN模型 Fig. 4 RNN model |
图选项 |
在t时刻,RNN模型的隐含状态h(t)由前一时刻的隐含状态h(t-1)和当前时刻x(t)输入得到,即
(1) |
式中:U为输入层到隐含层的权重矩阵;W为隐含层之间的权重矩阵;b为偏置;?()表示激活函数(非线性函数),一般使用双曲正切函数tanh。
t时刻的预测输出
(2) |
式中:o(t)=Vh(t)+c,表示t时刻的输出状态,V为隐含层到输出层的权重矩阵,c为偏置;σ()表示激活函数,一般使用softmax函数。
损失函数L用来量化预测与真实输出之间的差距,可以采用似然损失函数。通过梯度下降算法不断对式(1)和式(2)中的权重矩阵(U、W、V)进行优化,可以得出模型的一组较优解。
RNN的关键在于将先前时刻的隐含层相互连接起来,跨越了时间线,使RNN具有记忆功能。但是该算法存在梯度消失的问题,当有效信息与当前时刻的时间间隔变大的时候,RNN会丧失学习到远距离时刻信息的能力。因此,RNN模型一般不能直接用于应用领域。
3.2 LSTM算法 LSTM是RNN网络的一种变体[19]。算法的隐含层模型如图 5所示。图中:x表示输入,h表示隐含状态和输出;LSTM的关键在于引入细胞状态C,细胞状态是一条传送带,承载的信息可以贯穿整个长时间序列,这条通道只进行一些少量的线性计算,因此有利于信息的流传和保持。
图 5 LSTM算法模型 Fig. 5 LSTM algorithm model |
图选项 |
LSTM通过3个门结构实现添加或删除信息到细胞状态的能力,分别是遗忘门、输入门和输出门。
遗忘门如图 6(a)所示,这一层决定要从细胞状态中丢弃哪些信息。通过上一时刻的隐含层输出与当前输入中包含的信息,计算:
(3) |
图 6 LSTM算法详解 Fig. 6 Details of LSTM algorithm |
图选项 |
式中:ht-1为上一时刻的隐含层输出;xt为当前时刻输入;Wf为隐含层之间的权重矩阵;bf为偏置;σ()为softmax函数;ft是数值为0到1之间的矩阵,每个数值对应细胞状态Ct-1中的数字,“1”表示“完全保留”,“0”表示“完全舍弃”。
输入门如图 6(b)和(c)所示,决定将哪些新的消息添加到细胞状态中。这一层包含两步,步骤1是通过上一时刻的输出(隐含层)与当前输入中包含的信息,备选出用来更新的信息
(4) |
式中:WC为这一步骤的权重矩阵;bC为偏置。
步骤2是计算it, it是数值为0到1之间的矩阵,每个数值对应备选信息
(5) |
式中:Wi为这一步骤的权重矩阵;bi为偏置。
此时当前时刻的细胞状态更新已经完成,
Ct-1更新成了,即
(6) |
输出门如图 6(d)所示,使用tanh函数对更新的细胞状态中的信息进行处理,再与式(7)相乘,得到最终确定要输出的那部分信息如式(8)所示:
(7) |
式中:Wo为这一步骤的权重矩阵;bo为偏置。
(8) |
3.3 基于LSTM的RC流量预测模型 结合RC流量预测问题和LSTM算法,建立输入输出均为时间序列数据的RC流量预测模型。给定输入时间序列数据为T(i)={xi, xi+1, …, xi+m},输入时间步长为m。目标输出数据为输入时刻后的一小段时间序列数据,输出时间步长为p远小于m,表示未来短时间内的RC流量数据帧长到达的顺序。LSTM预测模型的数据集构造图如图 7所示。
图 7 LSTM预测模型数据集构造图 Fig. 7 Dataset construction map of LSTM prediction model |
图选项 |
流量预测模型的评价指标为准确率与均方误差[20]。准确率是预测结果的误差绝对值小于某一数值的数据个数a占数据总数p的比率,表示误差绝对值符合要求的数据比例,计算公式为
(9) |
均方误差是预测结果误差平方的平均值,表示预测的稳定程度,计算公式为
(10) |
式中:ei为预测值与实际观测值之间的差值。
4 实例分析 由于实测抓取数据的成本较高,且受到抓取工具非实时性因素的影响,本文使用OMNET++仿真平台实现TTE网络仿真,可以得到与真实情况相近的RC流量数据集。归一化处理后,将数据集分割为训练集和测试集,代入LSTM预测模型进行预测实验,并对预测结果进行分析。
4.1 网络仿真生成流量数据 按照TTE网络中流量的传输规则,使用OMNET++软件对TTE网络进行仿真。网络中端系统和TTE交换机的连接方式如图 8所示。TT流量遵循确定的周期传输,RC流量的速率约束体现于最长帧约束和最小间隔约束[21]。TTE网络的流量配置参数如表 1所示,包含5条TT流量和9条RC流量。
图 8 网络拓扑结构示意图 Fig. 8 Schematic diagram of network topology |
图选项 |
表 1 TTE网络流量配置 Table 1 TTE network traffic configuration
消息类型 | 源节点 | 目的节点 | 数据帧长/Byte | 周期/ms |
TT1 | ES1 | ES12 | 528 | 64 |
TT2 | ES11 | ES21 | 215 | 12 |
TT3 | ES5 | ES11 | 1505 | 16 |
TT4 | ES3 | ES2 | 1273 | 84 |
TT5 | ES21 | ES21 | 659 | 40 |
RC1 | ES1 | ES21 | 688 | 2 |
RC2 | ES4 | ES12 | 808 | 16 |
RC3 | ES2 | ES21 | 433 | 4 |
RC4 | ES3 | ES11 | 433 | 16 |
RC5 | ES5 | ES21 | 1518 | 4 |
RC6 | ES1 | ES4 | 1022 | 8 |
RC7 | ES3 | ES21 | 208 | 32 |
RC8 | ES11 | ES21 | 574 | 2 |
RC9 | ES3 | ES21 | 828 | 4 |
表选项
RC流量的产生使用ON/OFF模型[22],在ON周期内,端系统按照RC流量配置参数生成数据帧;在OFF周期,不生成RC流量。ON和OFF周期长度遵循重尾分布。运用ON/OFF模型生成的网络流量具有自相似和长相关性。
4.2 数据获取与处理 本实验选取从交换机SW1输出,经过链路[SW1,SW3],到达SW3交换机的全部RC流量,记录其到达SW3的时间、流量编号和数据帧长信息。本实验的RC流量传输数据记录在表 2中。
表 2 RC流量传输数据 Table 2 Transmission data of RC traffic
到达时间/ms | 流量编号 | 包帧长/Byte |
3.600852 | RC1 | 688 |
4.78901 | RC3 | 433 |
5.600852 | RC1 | 688 |
7.600852 | RC1 | 688 |
8.78901 | RC3 | 433 |
9.600852 | RC1 | 688 |
10.391926 | RC6 | 1022 |
11.600852 | RC1 | 688 |
12.78901 | RC3 | 433 |
13.600852 | RC1 | 688 |
15.600852 | RC1 | 688 |
16.78901 | RC3 | 433 |
19.4391926 | RC6 | 1022 |
| | |
203.553353 | RC3 | 433 |
207.553353 | RC3 | 433 |
210.391926 | RC6 | 1022 |
211.553353 | RC3 | 433 |
| | |
表选项
根据RC流量传输的平均时长与传输平均密度,确定1 ms为单位时长,生成时间序列,并将数据帧长信息进行归一化处理。根据输入序列的长度,将数据集分成8 000组训练集和2 000组测试集。
4.3 RC流量预测结果及其分析 经过多次反复实验,确定数据样本的输入时间步长为200,输出时间步长为10,即用之前200 ms的信息预测未来10 ms的RC流量到达序列。LSTM算法采用两层隐含层结构,每层的神经元个数为100,每次训练的样本数为50个,训练次数为10 000次。
为了展示LSTM算法的有效性,本文将深度神经网络(Deep Neural Networks,DNN)算法、RNN算法与LSTM算法进行比较。设置DNN和标准RNN结构均采用两层隐含层,神经元个数同LSTM算法。采用10次训练的结果,取平均值以展现算法的平均水平,在数据集、训练次数均相同的情况下,实验结果如图 9所示。
图 9 算法预测值与真实值对比 Fig. 9 Comparison of predicted value and real value of algorithms |
图选项 |
在数据集、训练次数均相同的情况下,算法预测结果比较如表 3所示。实验结果说明,LSTM算法模型的准确率较高,达到70%以上,误差稳定性较好,相比于DNN和标准RNN,更适用于RC流量预测问题,能较好地处理和预测时间序列数据的间隔和延迟相对较长的重要事件。
表 3 算法预测结果比较 Table 3 Comparison of algorithm prediction results
算法模型 | *5%准确率/% | *8%准确率/% | 均方误差 |
LSTM | 75.3 | 93.2 | 4.5 |
RNN | 42.8 | 47.2 | 40.4 |
DNN | 33.9 | 40.8 | 53 |
注:*5%准确率指预测值误差小于RC流量约束最长帧的5%;*8%准确率指预测值误差小于RC流量约束最长帧的8%。 |
表选项
5 结论 本文以动态调度场景下的TTE网络RC流量为研究对象,为降低RC流量时延,提高通信网络吞吐量,进行一系列研究工作,结论如下:
1) 设想RC流量的动态调度场景,提出TTE网络的RC流量预测问题,引入时间序列概念,建立RC流量的到达序列模型。
2) 运用深度学习算法进行预测,将LSTM算法与RC流量的到达序列模型结合,提出基于LSTM算法的RC流量预测模型。
3) 通过实例对预测模型进行仿真与结果分析,利用OMNET++软件进行TTE网络通信仿真,获取RC流量传输的仿真数据,将原始数据进行处理后,制作训练集和测试集,运用LSTM算法进行预测,分析实验结果得出,LSTM算法在RC流量预测问题的准确率较高,达到了70%以上。
值得说明的是,本文使用深度学习对TTE网络的RC流量到达序列进行预测,下一步工作可尝试使用RC流量预测结果对网络调度算法进行优化,以提高网络的通信效率。
参考文献
[1] | 熊华钢, 王中华. 先进航空电子综合技术[M]. 北京: 国防工业出版社, 2009: 2-13. XIONG H G, WANG Z H. Advanced avionics integrated technology[M]. Beijing: National Defense Industry Press, 2009: 2-13. (in Chinese) |
[2] | WOLFIG R, JAKOVLJEVIC M.Distributed IMA and DO-297: Architectural, communication and certification attributes[C]//Proceedings Digital Avionics Systems Conference.Piscataway, NJ: IEEE Press, 2008: 1.E.4-1-1.E.4-10. |
[3] | SAE Aerospace. Time-triggered Ethernet: AS6802TM[S].Englewood, CO: SAE International, 2011. |
[4] | STENER W, BAUER G, HALL B, et al.TTEthernet dataflow concept[C]//8th IEEE International Symposium on Network Computing and Applications.Piscataway, NJ: IEEE Press, 2009: 319-322. |
[5] | 熊华钢, 李峭, 黄永葵. 航空电子全双工交换式以太网标准研究(续)[J]. 航空标准化与质量, 2008(2): 20-23. XIONG H G, LI Q, HUANG Y K. Research on avionics full duplex switched Ethernet standards (continued)[J]. Aviation Standardization and Quality, 2008(2): 20-23. (in Chinese) |
[6] | ARINC 664P7-1. Aircraft data network, Part 7: Avionics full duplex switched ethernet (AFDX) network: ARINC 664P7-2005[S].Rio Rancho, NM: ANRIC Standards, 2005. |
[7] | 尹伟, 缪万胜, 王念伟, 等. 大规模复杂系统的开放式软件架构研究[J]. 航空电子技术, 2017, 48(2): 23-29. YIN W, MIU W S, WANG N W, et al. Open software architecture for large-scale complex systems[J]. Avionics Technology, 2017, 48(2): 23-29. (in Chinese) |
[8] | SANG A, LI S. A predictability analysis of network traffic[J]. Computer Networks, 2002, 39(4): 329-345. |
[9] | LEVIN M, TSAO Y D. On forecasting freeway occupancies and volumes[J]. Transportation Research Record Journal of the Transportation Research Board, 1980, 773: 47-49. |
[10] | 张九跃, 焦玉栋. 基于RBF神经网络的短时交通流量预测[J]. 山东交通学院学报, 2008, 16(3): 32-36. ZHANG J Y, JIAO Y D. Short term traffic flow prediction based on RBF neural network[J]. Journal of Shandong Jiaotong University, 2008, 16(3): 32-36. (in Chinese) |
[11] | 赵岩, 何鹏. 网络流量的非线性组合预测模型应用研究[J]. 计算机仿真, 2012, 29(6): 140-144. ZHAO Y, HE P. Application of nonlinear combination forecasting model for network traffic[J]. Computer Simulation, 2012, 29(6): 140-144. (in Chinese) |
[12] | 肖甫, 赵帅帅, 王少辉, 等. 基于智能优化的分布式网络流量预测方法[J]. 北京邮电大学学报, 2015, 38(S1): 45-48. XIAO F, ZHAO S S, WANG S H, et al. Distributed network traffic prediction method based on intelligent optimization[J]. Journal of Beijing University of Posts and Telecommunications, 2015, 38(S1): 45-48. (in Chinese) |
[13] | 赵季红, 王明欣, 曲桦, 等. 一种基于自适应KLMS的卫星网络流量预测算法[J]. 北京邮电大学学报, 2018, 41(3): 51-55. ZHAO J H, WANG M X, QU H, et al. A satellite network traffic prediction algorithm based on adaptive KLMS[J]. Journal of Beijing University of Posts and Telecommunications, 2018, 41(3): 51-55. (in Chinese) |
[14] | 焦文喆, 翟正军, 王国庆. 时间触发AFDX调度设计及实时性分析[J]. 计算机工程, 2016, 42(7): 42-48. JIAO W Z, ZHAI Z J, WANG G Q. Design and real-time analysis of time-triggered AFDX scheduling[J]. Computer Engineering, 2016, 42(7): 42-48. (in Chinese) |
[15] | 黄婷婷, 余磊. SDAE-LSTM模型在金融时间序列预测中的应用[J]. 计算机工程与应用, 2019, 55(1): 142-148. HUANG T T, YU L. Application of SDAE-LSTM model in financial time series forecasting[J]. Computer Engineering and Application, 2019, 55(1): 142-148. (in Chinese) |
[16] | 周瑞, 魏正英, 张育斌, 等. 基于LSTM递归神经网络的番茄目标产量时间序列预测[J]. 节水灌溉, 2018(8): 66-70. ZHOU R, WEI Z Y, ZHANG Y B, et al. Time series forecast of tomato target yield based on LSTM recursive neural network[J]. Water-saving Irrigation, 2018(8): 66-70. (in Chinese) |
[17] | TAMASSELICEAN D, POP P, STEINER W.Timing analysis of rate constrained traffic for the TTEthernet communication protocol[C]//IEEE International Symposium on Real-Time Distributed Computing.Piscataway, NJ: IEEE Press, 2015: 119-126. |
[18] | BENGIO Y, GOODFELLOW I. 深度学习[M]. 北京: 人民邮电出版社, 2017. BENGIO Y, GOODFELLOW I. Deep learning[M]. Beijing: Posts and Telecom Press, 2017. (in Chinese) |
[19] | 张文刚.基于深度学习的交通预测技术及其在通信中的应用研究[D].成都: 西南交通大学, 2018. ZHANG W G.Traffic forecasting technology based on in-depth learning and its application in communication[D].Chengdu: Southwest Jiaotong University, 2018(in Chinese). http://cdmd.cnki.com.cn/Article/CDMD-10613-1018709289.htm |
[20] | GERS F, SCHMIDHUBER J, CUMMINS F. Learning to forget:Continual prediction with LSTM[J]. Neural Computation, 2000, 12(10): 2451-2471. DOI:10.1162/089976600300015015 |
[21] | 周德新, 王彦翔. AFDX网络分析及带宽分配间隔设定策略[J]. 科学技术与工程, 2016, 16(9): 226-230. ZHOU D X, WANG Y X. AFDX network analysis and bandwidth allocation interval setting strategy[J]. Science and Technology and Engineering, 2016, 16(9): 226-230. (in Chinese) |
[22] | LEóN A P, PIEDRAHITA E M, SALCEDO O. On-off model applications to communication networks aggregated traffic[J]. Cuadernos De Derecho Agrario, 2011, 15(30): 129-147. |