周嵩, 高天寒
东北大学 软件学院，辽宁 沈阳 110169
收稿日期：2022-05-02
基金项目：国家自然科学基金资助项目(52130403)；中央高校基本科研业务费专项资金资助项目(N2017003)。
作者简介：周嵩(1989-)，男，山东济南人，东北大学博士研究生;
高天寒(1978-)，男，辽宁沈阳人，东北大学教授，博士生导师。

摘要：针对癫痫患者脑电信号(electroencephalogram, EEG)数据识别提出了一种基于注意力机制的RNN(recurrent neural networks) 模型.传统EEG特征分析耗时巨大且过度依赖专家经验，极大限制了脑活动识别方法的应用推广.因此，提出一种新的EEG识别方法以解决上述问题.首先对癫痫患者EEG的基本特征进行分析，进而采用基于注意力机制RNN模型消除各种干扰信号，利用XGBoost分类器识别EEG数据的类别，达到自动细化识别原始EEG的目的，最后在公共EEG数据集上进行大量实验，验证所提方法对EEG识别的准确性.实验结果表明，与一些成熟的EEG识别方法相比，本文所提方法在识别精度上有了进一步提升.
关键词：脑电信号注意力机制RNN模型XGBoost分类器癫痫患者
EEG Recognition Method for Epileptic Patients Based on RNN Model with Attention Mechanism
ZHOU Song, GAO Tian-han
School of Software, Northeastern University, Shenyang 110169, China
Corresponding author: GAO Tian-han, E-mail: gaoth@mail.neu.edu.cn.

Abstract: A RNN (recurrent neural networks) model based on attention mechanism is proposed for EEG (electroencephalogram) data recognition in epilepsy patients. Traditional EEG feature analysis is time-consuming and excessively dependent on expert experience, which greatly limits the application and popularization of brain activity recognition methods. A new EEG recognition method to solve the above problems is proposed. Firstly, the basic characteristics of EEG from epilepsy patients are analyzed. Then, the RNN model based on attention mechanism is designed to eliminate various interference signals and the XGBoost classifier is used to identify the categories of EEG data, so as to achieve the purpose of automatic refinement and recognition of the original EEG. Finally, a large number of experiments are carried out on the public EEG data set to verify the accuracy of the proposed method. The experimental results show that compared with the mature EEG recognition methods, the proposed method has higher recognition accuracy.
Key words: EEG(electroencephalogram)attention mechanismRNN (recurrent neural networks) modelXGBoost classifierepileptic patient
癫痫是一种常见的脑部神经疾病，全球约5 000万癫痫患者深受其害.随着脑电科学研究的不断发展和成熟，借助深度学习技术对脑电信号(electroencephalogram, EEG)数据进行识别已成为近年来癫痫病辅助治疗的一个重要研究领域^[1].通过构造深度学习模型分析EEG数据以识别患者是否具有癫痫病倾向，无需借助专业的神经病学咨询或待癫痫发作后再做诊断，做到早发现早治疗.采用深度学习模型进行识别的EEG数据包含三种不同状态的脑电波信号，分别是健康状态、癫痫未发作状态及癫痫发作状态^[2].用于癫痫诊疗的EEG信号处理可分为三个步骤：1) 对EEG信号进行预处理，去除噪声和伪影；2) 对EEG信号进行特征提取，从冗余信息中获得对癫痫诊疗有价值的信息；3) 对提取的EEG特征进行分类，以判断患者的大脑状态与癫痫疾病的关联度.近年来，国内外研究者提出了一系列基于EEG的癫痫病识别方法.Chakraborty等^[1]提出了一种新的基于峰态系数的变分模态方法，通过提取带宽和光谱特征，利用Kruskal-Wallis检验方法选取EEG信号关键特征，并对特征进行分类识别，并与决策树、k近邻、支持向量机(SVM)和随机森林等信号识别方法进行了分析对比.Wijayanto等^[2]使用基于改进经验模态分解(EMD)和粗粒度(coarse-grained)两种模型分解EEG信号，然后在分解的EEG信号中提取分形维数，并使用SVM进行EEG信号识别.Nkengfack等^[3]通过雅可比多项式、勒让德多项式及切比雪夫多项式变换提取了EEG信号中的α和γ波段数据，进一步提取了近似熵(approximate entropy)、模糊熵(fuzzy entropy)、样本熵(sample entropy)及排列熵(permutation entropy)作为不同的复杂性衡量指标，最后使用最小二乘支持向量机(least-square SVM)对提取的特征进行分类.赵艳娜等^[4]通过利用RNN及注意力机制对EEG数据进行分析用于癫痫的辅助诊断，通过分解EEG信号片段提取特征信息，利用双向长短时记忆网络进行二分类检测.上述方法对EEG信号的识别精度都有了显著的提升，但对EEG信号的精准特征识别还不够全面，提取的EEG信号维度过于复杂，导致算法运行不够稳定且应用场景较为单一.
本文提出了一种基于注意力机制的RNN模型用以识别癫痫脑电波信号.通过分析EEG信号的相似性，计算癫痫病患者EEG信号的相关系数矩阵；在此基础上，利用注意力机制LSTM模型提取EEG信号特征；最后将特征输入XGBoost分类器以识别EEG数据的类别，每个类别对应于一种特定的大脑活动，逐步形成一套对用户当前脑部反应状态与癫痫状态相关联的精准神经网络识别模型.
1 相关知识随着脑-机接口技术的不断成熟和发展，使得EEG信号能够被更加准确和稳定地采集，并在智慧医疗领域广泛使用.EEG信号可以测量大量神经元产生的电波活动，并被广泛用于神经疾病诊断，如癫痫、自闭症(ASD)、阿尔茨海默病等复杂疾病^[4].目前研究表明癫痫类精神疾病完全可以依赖EEG信号进行诊断，依靠深度学习技术对癫痫疾病脑电波数据的分析诊断流程也完全可以处理其他相关的大脑活动障碍疾病诸如阿尔茨海默症、自闭症和睡眠障碍等.目前，此类疾病的诊断主要由神经科医生和医学专家手动进行^[5-6].
一般情况下，神经科医生需要花费数个小时完成一个完整的癫痫疾病诊疗过程，并对特定患者做出诊断结论，无法实现高效诊疗^[7-8].因此，需要建立智能且可靠的诊断系统，为此类疾病的诊断和分析提供辅助，以降低出错风险，并提高诊断效率.与其他癫痫诊断数据相比，EEG信号数据具有易采集、时间分辨率高、应用范围广等优势，且无需依赖大量专业神经学知识便可获得，使得EEG信号成为神经疾病诊疗领域的重要辅助诊断工具^[9].然而EEG信号非常复杂且非线性、不平衡，同时信号当中隐藏着伪影和干扰，使得相关结果易产生偏差^[10-11].因此，在进一步分析之前，需要对EEG信号进行复杂的信号处理，以清除所有不可预测的污染或干扰.典型的基于EEG的诊断系统包括：EEG信号预处理、特征提取和解码.预处理模块用于去除无关的EEG信号，从滤波后的EEG信号中提取最重要的特征，并将其传递到解码或分类阶段^[12].现有研究对EEG脑电识别实时性问题考虑不够细致，且识别框架复杂，在保证识别准确率的前提下，系统开销巨大，离智慧医疗领域的实际应用还存在较大差距.同时，用于神经系统疾病的EEG数据通常是不平衡和非平稳的，其中包含了诸多非典型疾病特征，导致在应用EEG进行诊断时需要高度复杂的特征描述系统.针对此问题，利用深度学习技术可以实现EEG数据的特征提取和分析操作，在保证准确率的同时实现自动诊疗目标，从而有效降低医疗误诊的风险.
本文针对以上应用场景和面临的问题提出了一种用以识别癫痫患者EEG信号的基于注意力机制的RNN模型.在利用RNN模型进行EEG数据处理和分析时，引入注意力机制(attention mechanism)，通过RNN模型中编码器选择特定的子集特征，并将输入特征与输出信息相关联，即输出序列中的每一项信息都取决于输入序列中被选中的子集特征.注意力机制的引入能够有效解决编码器-解码器结构对长输入序列处理性能差的问题.此外，注意力机制使得RNN模型可以将不同的权重分配给输入的不同部分，从而明确输入序列与输出序列之间的对应关系.XGBoost是一种梯度提升算法，也是一种残差决策树，将RNN模型提取的EEG信号特征输入XGBoost分类器以识别EEG数据的类别，每个类别对应于一种特定的大脑活动，逐步形成一套对用户当前脑部反应与癫痫病相关联的神经网络精确识别模型.本文方法采用的决策树是分类与回归树(classification and regression tree, CRAT)，其本质是对特征空间进行二元划分(即CART生成的决策树是一棵二叉树)，并能够对标量属性与连续属性进行分离.实验结果表明，本文方法对原始EEG信号的数据处理能力具有较强的包容性，在确保数据的实时处理前提下识别精度能够达到94.4%，且保证了算法框架的鲁棒性.
2 算法框架2.1 EEG预处理对原始EEG样本进行预处理以去除DC偏移并对信号进行归一化.首先要消除DC偏移影响，不同的脑电波采集设备在记录信号的同时引入了恒定的噪声分量.在预处理阶段，首先应从原始信号E中消去该恒定DC偏移.
数据归一化在处理不同单元和特征尺度的数据过程中起着至关重要的作用.本文选择神经网络最常用的Z-score方法对原始EEG信号进行归一化处理.预处理后的脑电波数据E′计算方式为

(1)

其中：DC表示直流电噪音偏移量；μ表示E-DC的均值；σ表示E-DC的标准差.
2.2 基于注意力机制的RNN模型将分解后的EEG数据输入到引入了注意力机制的RNN模型当中以得到更多关于受试者的脑部活动信息.一般的编码器-解码器RNN框架忽略了特征维度对输出序列的影响，而默认为输入序列的所有特征维度权重.在脑电波数据的采集过程中EEG数据的不同特征尺度对应于EEG设备的不同传感器节点，本文将注意力机制引入RNN模型当中，模型包含三个模块：编码器模块、注意力机制模块和解码器模块.为了提取δ波段的信号，在此设计了一个三阶巴特沃斯滤波器，频率范围为0.5~4 Hz.编码器模块负责将输入的δ波段数据压缩成过度编码C；注意力机制通过生成不同维度的权重W序列来帮助编码器计算更好的中间编码C_a；解码器模块接收C_a并将其解码为系统能够识别的EEG信号波段信息.
假设第i层的数据表示为Xⁱ=(X_jⁱ; i∈[1, 2, …, I], j∈[1, 2, …, N^j])，其中j表示Xⁱ的第j维数据，I表示引入注意力机制的RNN模型中的神经网络层数，N_i表示Xⁱ中的维度数量.非递归层用于构造和拟合用以过滤输入的δ波段信号数据的非线性函数.非递归层的数据可以通过式(2)计算得

(2)

编码器模块包含一个输入层、三个非递归的完全连接神经网络层和一个长短期记忆(LSTM)层.非递归层用于构造和拟合非线性函数.LSTM层将非递归层的输出压缩为长度固定的序列并将其作为传递编码C.假设LSTM模型位于编码器的第i′层，则传递编码C为LSTM模型的输出，即C=X_j^i′，

(3)

其中：c_j-1^i′表示第j-1个LSTM细胞单元的隐藏状态.操作T(·)表示LSTM模型的运算过程：

(4)

(5)

(6)

(7)

(8)

(9)

其中: f_o，f_f，f_i，f_m分别表示LSTM模型中的输出门、摒弃门、输入门、输入调整门; ⊙表示单元乘法.注意力机制模块接收隐藏层的状态作为非标准化的注意力权重W′_a，可以通过映射T′(·)进行测量.

(10)

对注意力权重进一步标准化得W_a.

(11)

Softmax函数将注意力权重归一化在[0, 1]区间，注意力权重也可以理解为连接编码C与输出结果是否相关的概率估计.在注意力机制下连接编码C并经过加权转化为C_a.

(12)

需要注意的是，此时的编码C和标准化注意力权重W_a是用于即时训练的.解码器接收基于注意力的编码C并对其进行解码以预测用户的当前脑活动状态.

(13)

其中，Y′表示基于注意力机制的RNN模型所训练的预测状态.
最后使用交叉熵函数来计算用户预测状态Y′和实际状态Y之间的预测成本.选用L2正则化(带参数λ)以防止过度拟合.基于注意力机制的RNN模型迭代阈值设置为n_iter.加权编码C_a与输出层和预测结果具有直接线性关系，如果模型训练良好并且成本低，可以将加权编码视为用户状态信息的高质量表示.在此规定RNN模型学习的深度特征X_D等于C_a，并将其作为最终的用户状态映射值.
2.3 脑活动状态识别使用XGBoost分类器对学习的深度特征X_D进行分类以判断当前用户脑活动状态.RNN模型学习的深度特征X_D用于训练分类回归树，并预测用户的一组状态信息.假设有m棵分类回归树，且x_d∈X_D是一个深度特征的单个样本，则输入为x_d时的最终识别结果为

(14)

(15)

其中：l表示单个树的分类函数；y_m表示第m个树的预测状态；L表示从单个树预测空间到最终预测空间的映射；S_D是基于EEG数据对用户当前状态的最终识别结果.
3 实验分析3.1 实验数据集本文使用的是由Andrzejak等于2001年发布的波恩数据集(Bonn database), 该数据集是由5个健康人群和5个癫痫患者的脑电数据构成，分别由F，S，N，Z，O 5个数据子集组成，数据描述如表 1所示.
表 1(Table 1)

表 1 波恩数据集Table 1 Bonn database 参数 健康人 癫痫患者 Z O N F S 状态 睁眼 闭眼 发作期间 发作期间 发作期间 数据类型 头皮层 头皮层 颅内 颅内 颅内 电极位置 头皮 头皮 海马机构处 病灶区 病灶区

表 1 波恩数据集 Table 1 Bonn database

如图 1所示，波恩数据集属于单通道数据集，由包含100个数据片段的数据子集组成，其中数据片段的数据点为4 097个，时间长度为23.6 s，信号的采样频率为173.61 Hz，分辨率为12位.其中子集Z和O为健康人EEG信号组成的对照组，头皮电极分布为国际10-20系统^[1].Z中片段为受试者睁眼时的EEG信号，O中片段为受试者闭眼时的EEG信号^[12].子集N, F, S分别由5个术前已确诊病人的颅内EEG信号组成.
图 1(Fig. 1)

图 1 典型癫痫病患者脑电波信号图Fig.1 EEG signals of typical epileptic patients

如图 2所示，这些病人已经通过局部海马结构切除使得其癫痫完全可控，切除区域已通过临床验证确为致痫灶.子集F中包含从癫痫灶中采集的EEG信号，子集N中包含从癫痫灶对侧采集的EEG信号，且子集N和F采集于癫痫发作间期.子集S中包含了所有颅内电极采集到的癫痫发作期间的EEG信号^[13].
图 2(Fig. 2)

图 2 正常和癫痫发作状态下电极图上的功率谱密度分布Fig.2 Power spectral density distribution on electrode map for normal and epileptic seizure states

3.2 实验环境及训练过程基于注意力机制的RNN模型隐藏层中的神经元数量表示提取的特征维度，神经元的数量对特征提取的质量以及分类结果有很大的影响，为了分析神经元数量与分类效果之间的关系，实验过程中设置神经元数量为80, 64, 48, 32四个样本，学习速率设置为0.01.
将Softmax函数设置为XGBoost分类器的目标函数用于多类分类.设置学习率η为0.7，与最小损失减少有关的参数和叶子数量γ为0，树的最大深度max_depth为6(max_depth太大可能导致过度拟合)，训练实例的子采样率subsample为0.9(防止过度拟合)，实验过程中使用的PC配置为Nvidia GTX3070 GPU, 32 GB内存和1 TB SSD硬盘.测试误差和训练时间与神经元数量之间的关系如图 3所示.
图 3(Fig. 3)

图 3 神经元数量在自动编码器隐藏层中的影响Fig.3 Effect of neuron number in hidden layer of automatic encoder

由图 3可得，在第一阶段(0~120个神经元)，随着神经元数量的增加，测试误差(图中浅色曲线)不断减小；在第二阶段(大于120个神经元)，测试误差在0.21附近，略有波动，同时训练时间曲线(图中深色曲线)与神经元数量总体上呈线性关系.虽然测试误差曲线和训练时间曲线之间的最小差距达到约100个神经元，测试错误仍然很高.测试错误到达底部神经元数量为121个，训练时间可以接受.此外，神经元多于121个后，测试误差曲线保持稳定，设定所有其他实验的隐藏层神经元数量为121个.由表 2可见，当隐藏层为121，特征维度为64时对数据库中的5个子集识别准确率能够达到94.4%，特征维度过小会导致EEG信息特征不完整训练误差较大，特征维度过大会增加训练成本，通过实验分析可得特征维度为64时最佳表现.
表 2(Table 2)

表 2 隐藏层和特征维度在识别准确率中的表现Table 2 Performance of hidden layer and feature dimension in recognition accuracy 隐藏层数 特征维度 子集Z 子集O 子集N 子集F 子集S 平均准确率/% 120 80 90 88 92 91 91 90.4 64 91 92 89 91 90 90.6 48 89 91 94 90 91 91.0 32 90 92 91 88 93 90.8 121 80 91 93 95 92 93 92.8 64 92 94 95 95 96 94.4 48 91 90 93 95 94 92.6 32 94 91 92 90 91 91.6 122 80 91 93 91 95 94 92.8 64 91 94 93 95 90 92.6 48 90 92 94 89 92 91.4 32 89 93 92 93 91 91.6

表 2 隐藏层和特征维度在识别准确率中的表现 Table 2 Performance of hidden layer and feature dimension in recognition accuracy

为了进一步评估本文算法模型的鲁棒性，采用k-flod交叉验证，在k从5到10变化的情况下，设定epochs为10，在Bonn数据集上运行结果如表 3所示.
表 3(Table 3)

表 3 k-flod交叉验证评估Table 3 k-fold cross validation evaluation k 训练准确率/% 验证准确率/% 训练误差 验证误差 5 99.58 99.56 0.043 0.020 6 99.65 99.71 0.037 0.013 7 99.47 99.44 0.058 0.036 8 99.51 99.04 0.054 0.027 9 99.74 99.64 0.020 0.011 10 99.93 99.82 0.009 0.009

表 3 k-flod交叉验证评估 Table 3 k-fold cross validation evaluation

由表 3可知，训练集和验证集的准确率均超过99%，训练集和验证集的误差分别小于0.06和0.04，由此可见本文所提的算法在保证识别率的同时具有理想的鲁棒性.此外，与最新的几种针对EEG信号识别方法进行比较，结果如表 4所示，其中AR表示自回归建模，LDA表示线性判别分析，ERD表示时间相关同步，AB表示注意力机制.由表 4可知，基于注意力机制的RNN模型在癫痫病脑电信号识别方面具较高的识别准确率^[14-15].
表 4(Table 4)

表 4 不同特征提取分类模型对比Table 4 Comparison of different feature extraction and classification models 作者 特征提取分类模型 识别率% Alhaddad Wavelet+Bayes 89.29 Gao Xiaorong ERD+LDA 86.43 Akash Narayana AR+LDA 84.29 本文 XGBoost+AB+RNN 94.40

表 4 不同特征提取分类模型对比 Table 4 Comparison of different feature extraction and classification models

4 结语本文提出了针对癫痫病的EEG数据分类和识别方法，旨在通过分析EEG数据辅助癫痫病的发现和治疗.首先，使用归一化方法来处理原始EEG数据；然后，将标准化的EEG数据输入到基于注意力机制的RNN模型中进行训练；最后，在波恩数据集(包含5个子集)上对相关方法进行评估，验证本文方法的有效性和高效性.
未来工作将构建多类EEG的不同视图模型以进一步提高分类性能，促进EEG信号识别模型在智慧医疗中的更多应用.
参考文献

[1]	Sukriti, Chakraborty M, Mitra D. Epilepsy seizure detection using kurtosis based VMD's parameters selection and bandwidth features[J]. Biomedical Signal Processing and Control, 2021, 64(9971): 102255.
[2]	Wijayanto I, Hartanto R, Nugroho H A. Comparison of empirical mode decomposition and coarse-grained procedure for detecting pre-ictal and ictal condition in electro-encephalo graphy signal[J]. Informatics in Medicine Unlocked, 2020, 19: 100325. DOI:10.1016/j.imu.2020.100325
[3]	Lcdna B, Dt B, Raa B, et al. Classification of EEG signals for epileptic seizures detection and eye states identification using Jacobi polynomial transforms-based measures of complexity and least-square support vector machine[J]. Informatics in Medicine Unlocked, 2021, 23: 47-61.
[4]	赵艳娜. 癫痫脑电信号识别方法及系统: 202110564684.8[P]. 2021-12-5. (Zhao Yan-na. Method and system for identify epileptic EEG signals: 202110564684.8[P]. 2021-12-5. )
[5]	Wolpaw J R, Birbaumer N, Heetderks W J, et al. Brain-computer interface technology: a review of the first international meeting[J]. Rehabilitation Engineering IEEE Transactions, 2000, 8(2): 164-173. DOI:10.1109/TRE.2000.847807
[6]	Brari Z, Belghith S. A novel machine learning model for the detection of epilepsy and epileptic seizures using electroencephalographic signals based on chaos and fractal theories[J]. Mathematical Problems in Engineering, 2021, 2021: 1-10.
[7]	Schirrmeister R T, Springenberg J T, Fiederer L, et al. Deep learning with convolutional neural networks for brain mapping and decoding of movement-related information from the human EEG[J]. Human Brain Mapping, 2017(5): 341-355.
[8]	Correa A G, Orosco L L, Diez P, et al. Adaptive filtering for epileptic event detection in the EEG[J]. Journal of Medical and Biological Engineering, 2019(1): 82-93.
[9]	Brari Z, Belghith S. A new method for the detection of epilepsy and epileptic seizures based on the variance of EEG signals and its derivatives with a simple kernel trick[C]//2020 4th International Conference on Advanced Systems and Emergent Technologies(IC_ASET). Zhuhai, 2020: 105-114.
[10]	Yang J F. Applying a locally linear embedding algorithm for feature extraction and visualization of MI-EEG[J]. Journal of Sensors, 2016, 16(4): 1-9. DOI:10.1109/JSEN.2015.2506301
[11]	Slimen I B, Boubchir L, Mbarki Z, et al. EEG epileptic seizure detection and classification based on dual-tree complex wavelet transform and machine learning algorithms[J]. Journal of Biomedical Research, 2020, 34(3): 21-39.
[12]	Xiao J, Gui B. Removal of artifacts from EEG signals: a review[J]. Sensors, 2019, 34(3): 14-26.
[13]	Tanveer M, Pachori R B, Angami N V. Entropy based features in FAWT framework for automated detection of epileptic seizure EEG signals[C]//IEEE Symposium Series on Computational Intelligence(SSCI). Cape Town, 2018: 23-31.
[14]	Delimayanti M K, Purnama B, Nguyen N G, et al. Classification of brainwaves for sleep stages by high-dimensional FFT features from EEG signals[J]. Applied Sciences, 2020, 10(5): 17-26.
[15]	Baig M Z, Aslam N, Shum H. Filtering techniques for channel selection in motor imagery EEG applications: a survey[J]. Artificial Intelligence Review, 2020, 53(3): 25-40.