, 陈杰, 陆志国 东北大学 机械工程与自动化学院, 辽宁 沈阳 110819
收稿日期：2020-11-27
基金项目：国家自然科学基金资助项目(51805074)。
作者简介：段志豪(1997-), 男, 江西景德镇人, 东北大学硕士研究生;
刘冲(1980-)，男，辽宁沈阳人，东北大学讲师，硕士生导师。
摘要：稳态视觉诱发电位(steady-state visual evoked potential, SSVEP)响应的个体差异性较大, 不同环境下各被试者脑电信号的质量有差别.针对这个问题, 研究了SSVEP中数据区间的优化对CCA(典型相关分析)和ECCA(扩展典型相关分析)方法分类结果的影响.首先通过网格搜索方法找到脑电信号的最优数据区间, 然后使用CCA和ECCA方法对该区间数据进行特征识别, 使得识别效果得到提升.实验结果表明, 同时对数据区间起始点和终点进行优化能够有效提升信息传输率(ITR), 数据区间优化后的CCA和ECCA分类平均ITRs为(61.18±27.20)bit/min和(71.37±32.24)bit/min, 比使用传统的仅优化数据区间终点的方法提高了29.89 % 和8.3 %, 证明了通过数据区间优化能够提升SSVEP算法的性能.
关键词：脑电脑-机接口稳态视觉诱发电位信息传输率数据优化
Influence of Data Interval Optimization on SSVEP Algorithm Performance
DUAN Zhi-hao, LIU Chong
, CHEN Jie, LU Zhi-guo School of Mechanical Engineering & Automation, Northeastern University, Shenyang 110819, China
Corresponding author: LIU Chong, E-mail: congliu@me.neu.edu.cn.
Abstract: Steady-state visual evoked potential(SSVEP)responses vary greatly among individuals, which results in the quality difference of EEG signals from subjects in different environments. So, the effect of EEG data interval on CCA(canonical correlation analysis) and ECCA(extended canonical correlation analysis) classification results is investigated. The optimal data interval of EEG signals is determined through grid search, then, the EEG features in the optimal data interval are identified by CCA and ECCA, with the recognition results improved. The results show that the information transfer rate(ITR)can be effectively improved by optimizing the starting and ending points of the data interval. The average ITRs of CCA and ECCA classification after interval optimization are (61.18±27.20)bit/min and(71.37±32.24)bit/min, which are 29.89 % and 8.3 % higher than that of the traditional method which only optimizes the ending point of data interval. The results proved that the performance of SSVEP algorithm can be improved by optimizing data interval.
Key words: EEGbrain-computer interfacesteady-state visual evoked potentialinformation transfer rate(ITR)data optimization
脑-机接口(brain-computer interface, BCI)是一种不需要依赖大脑外周神经和肌肉、直接由脑信号实现大脑与外部设备控制的系统[1].在脑-机接口系统中, 基于稳态视觉诱发电位(SSVEP)BCI系统具有信噪比高、信息传输率高、不需要训练等特点, 在BCI领域得到广泛应用[2-3].在SSVEP的研究中, 信息传输速率(information transfer rate, ITR)是当前BCI系统最常用的评价指标, 它同时考虑了刺激个数、准确率和时间三个指标[4].为了提高系统性能, 得到较高的信息传输速率, 在最短的时间内得到最高的识别准确率成为****们研究的目的.Chen等[5-6]观察到, 在SSVEP响应中, 可以成功区分两个频率差低至0.2 Hz的闪烁目标, 并提出一种基于SSVEP的高速拼写器, 极大地增加了指令集的数目.Chen等[7]还提出了联合频率-相位调制的方法, 进一步地将指令集扩展到了45个.徐光华等[8]提出基于高频组合编码的刺激范式, 解决了单频率呈现目标数量受限的问题, 增加了传统的目标数和可选范围.Volosyak[9]提出一种基于SSVEP的拼写器时间段长度自适应机制, 在保证准确率的情况下减小了单个试次时间, 提高了系统的ITR.王春慧等[10]提出使用动态自适应策略来确定不同个体和试次之间的单个指令时间, 并结合贝叶斯理论显著提升了SSVEP拼写器的性能.以上研究在确定最优指令时间时, 考虑到视觉系统的140 ms[11]延迟, 在处理数据时会统一将刺激呈现之后0.14 s作为数据区间的起始点, 并通过改变数据区间的终点来确定最优指令的时间.但是不同环境下各被试者的脑电信号响应速度会有差别, 考虑环境因素和个体差异的影响, 可以同时改变数据区间的起始点和终点, 进而提高系统的信息传输速率.本文通过所设计的SSVEP系统进行实验, 以信息传输速率作为评价指标, 验证了本文方法的有效性.
1 方法与实验1.1 实验设计4名被试者(2名男性, 2名女性), 平均年龄为27岁.被试者均身体健康, 视力正常或者经过矫正后正常, 无任何精神疾病.在这些被试者中一名男性在之前有参加过脑电实验经历.数据采集在正常环境下进行, 没有屏蔽外界干扰.
视觉刺激采用正弦编码的方法, 在Matlab环境下使用Psychophysics Toolbox Version 3进行呈现.视觉刺激显示在27 in的LED屏幕上, 显示器的分辨率为1 920×1 080, 刷新率为60 Hz.刺激界面如图 1所示, 界面为一个3×3的九个方块的矩阵, 方块大小为200像素×200像素, 每个刺激的水平距离为330像素, 垂直距离为126像素; 刺激方块颜色为白色, 背景颜色为黑色, 提示块颜色为红色.刺激闪烁采用联合频率-相位调制的方法[7], 频率闪烁范围为8~13.6 Hz, 频率间隔为0.7 Hz, 刺激频率的相位范围0.35π~2.80π, 相位间隔为0.35π.
图 1(Fig. 1)
 | 图 1 刺激设计和分布Fig.1 Stimulus design and distribution |
每轮实验有9个试次, 共有10轮实验.实验时, 被试者眼睛与屏幕距离约为60 cm[12]. 9个方块中会有一个方块给出提示, 该方块颜色变为红色, 提示持续时间为0.5 s, 在0.5 s内被试者将视线转移到该位置; 提示结束后, 所有刺激块以相应的频率闪烁5 s, 闪烁结束后屏幕出现0.5 s空白.每进行一轮实验被试者会有2 min休息时间.
1.2 数据采集和处理脑电采集设备采用西班牙NE(Neuroelectrics Barcelona, Spain)公司的20导联设备, 采样频率为500 Hz.本实验采用干电极对被试者的脑电信号进行采集, 采集位置如图 2所示, 共采集PO7, PO4, Oz, Pz, PO3, PO8, O1, O2八个导联处的脑电信号.刺激程序产生的事件触发被记录在与脑电数据同步的放大器的事件通道上, 采用设备自带的50 Hz陷波器去除数据中的工频干扰, 采用20阶的巴特沃斯无限脉冲响应带通滤波器, 截止频率为3~50 Hz.
图 2(Fig. 2)
 | 图 2 电极分布图Fig.2 Distribution of electrodes |
2 SSVEP脑电信号特征识别方法当被试者注视以固定频率闪烁的刺激装置时, 大脑的视觉皮层会在刺激频率的基频和倍频处产生相应的SSVEP响应.图 3所示为实验中10.1 Hz频率刺激时的SSVEP频谱, 从图中可以看出, 该被试者脑电信号频谱在10.1 Hz及其倍频处出现了非常明显的峰值.基于SSVEP的BCI可以通过识别特定的SSVEP成分来检测被试者注视的是哪种刺激频率[13].
图 3(Fig. 3)
 | 图 3 10.1 Hz频率刺激响应Fig.3 Frequency stimulus response at 10.1 Hz |
2.1 典型相关分析典型相关分析(canonical correlation analysis, CCA)是一种通过分析两组变量相关性的多元统计方法, 在SSVEP的特征识别中得到广泛应用[14].假设有n个刺激频率, 对每个刺激频率都构建参考信号, 构造的参考信号Yk如式(1)所示:
 | (1) |
 | (2) |
2.2 扩展的典型相关分析扩展的典型相关分析(extended canonical correlation analysis, ECCA)算法是对CCA的一种扩展, 最早由Wang等[15]提出.在CCA的基础上, ECCA将个体模板和滤波器组分析整合到了CCA算法当中[16].它考虑了三种空间滤波器形式, 分别为: 测试数据X和个体模板
 | (3) |
 | (4) |
3 结果与分析ITR作为目前常用的评估BCI性能的参数指标, 如式(5)所示:
 | (5) |
通过网格搜索和交叉验证分别采用CCA和ECCA对每个被试者的前5组数据进行分析, 以ITR为评价指标, 求出数据段最优起始点和终点的位置, 从而确定用于分类的数据区间.起始点搜索区间为0~0.5 s, 步距为0.02 s, 结束点搜索区间为0~5 s, 步距为0.1 s, 如图 4所示. 后5组数据用于模拟在线实验, 将得到的最优数据段位置应用于后5组实验, 对数据的准确率和ITR进行对比分析.
图 4(Fig. 4)
 | 图 4 数据分析区间Fig.4 Data analysis interval |
分别利用CCA和ECCA算法对数据进行分析, CCA分析结果如图 5所示.
图 5(Fig. 5)
 | 图 5 4名被试者CCA最优数据区间网格搜索结果Fig.5 Grid search results of CCA optimal data interval for 4 subjects (a)—被试者S1; (b)—被试者S2; (c)—被试者S3; (d)—被试者S4. |
由CCA分析可得出S1的最优分析数据起始点在0.32 s, 终点在1.52 s; S2的起始点和终点分别在0.12 s和1.72 s; S3用于分析的起始点在0.16 s, 终点在1.56 s; S4的最优数据段位置在0.26~3.86 s之间.将分析得到的最优数据段位置用于后5组数据的分析, 分类结果如图 6所示.由图可得出优化数据长度终点位置能够提高识别的信息传输率, 当同时优化起始点位置和终点位置时, 信息传输速率也会显著提高.
图 6(Fig. 6)
 | 图 6 CCA分类结果Fig.6 CCA classification results |
ECCA分类结果如图 7所示.通过ECCA进行分类, 可得出S1的最优数据段位置的起始点和终点分别为0.34 s和0.94 s; S2的最优起始点为0.12 s, 最优终点为1.1 s; S3的起始点在0.36 s, 终点在1.1 s; S4的最优起始点在0.26 s, 最优终点在2.1 s.
图 7(Fig. 7)
 | 图 7 4名被试者ECCA最优数据区间网格搜索结果Fig.7 Grid search results of ECCA optimal data interval for 4 subjects (a)—被试者S1; (b)—被试者S2; (c)—被试者S3; (d)—被试者S4. |
将得到的各个被试者相应的最优数据区间用于后5组数据分析, 结果如图 8所示.由图可知, 在ECCA分类过程中, 通过优化终点位置能够减少分析的数据长度, 并且能够相应地提高信息传输率, 而同时优化起始点位置和终点位置会比单纯优化终点位置得到更高的信息传输率.
图 8(Fig. 8)
 | 图 8 ECCA分类结果Fig.8 ECCA classification results |
不同被试者的实验数据如表 1所示, 从表中可以看出, 不同被试者的数据在终点位置被优化后, 识别的准确率有所降低, 但信息传输率有明显的提升: CCA平均信息传输率为(47.10±19.16)bit/min, 相比5s的数据长度, 信息传输率提升了52.13 %; ECCA的平均信息传输率为(65.90±32.36)bit/min, 相比5 s数据长度, 信息传输率提升了123.85 %.同时优化数据的起始点和终点位置后CCA的平均信息传输率为(61.18±27.20)bit/min, ECCA的平均信息传输率为(71.37±32.24)bit/min, 与只优化数据终点位置相比, 分别提升了29.89 % 和8.3 %, 而被试者S3的信息传输率分别提高了69.81 % 和12.21 %, 尤为明显.
表 1(Table 1)
 表 1 CCA和ECCA的识别准确率和信息传输率Table 1 Recognition accuracy and information transmission rate of CCA and ECCA
| 表 1 CCA和ECCA的识别准确率和信息传输率 Table 1 Recognition accuracy and information transmission rate of CCA and ECCA | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4 结论1) 本文提出的数据区间优化方法能够为不同被试者确定最佳的数据分析区间, 为后续在线分类提供依据.
2) 在CCA和ECCA分类过程中, 通过优化数据的起始点和终点位置能够显著提高分类的信息传输率.
3) 在对本文所使用的实验数据进行分析时, 对数据的起始点和终点位置进行优化后, 虽然准确率有所降低, 但是极大地减少了数据分析长度, 并且明显地提高了分类的信息传输率,
综上, 通过优化分析数据能够有效地提高对脑电信号分类的信息传输率, 其综合效果比较好.
参考文献
| [1] | Saravanakumar D, Reddy M R. A brain computer interface based visual keyboard system using SSVEP and electrooculogram[M/OL]//Machine Learning and Metaheuristics Algorithms, and Applications[2020-10-10]. https://www.researchgate.net/deref/http%3A%2F%2Fdx.doi.org%2F10.1007%2F978-981-15-4301-2_6. |
| [2] | Nakanishi M, Wang Y J, Chen X G, et al. Enhancing detection of SSVEPs for a high-speed brain speller using task-related component analysis[J]. IEEE Transactions on Biomedical Engineering, 2018, 65(1): 104-112. DOI:10.1109/TBME.2017.2694818 |
| [3] | Chai X K, Zhang Z M, Guan K, et al. A hybrid BCI-controlled smart home system combining SSVEP and EMG for individuals with paralysis[J/OL]. Biomedical Signal Processing and Control, 2020, 56: 101687[2020-10-15]. https://doi.org/10.1016/j.bspc.2019.101687. |
| [4] | Yuan P, Gao X R, Allison B, et al. A study of the existing problems of estimating the information transfer rate in online brain-computer interfaces[J]. Journal of Neural Engineering, 2013, 10(2): 026014. DOI:10.1088/1741-2560/10/2/026014 |
| [5] | Chen X G, Wang Y J, Zhang S G, et al. Effects of stimulation frequency and stimulation waveform on steady-state visual evoked potentials using a computer monitor[J]. Journal of Neural Engineering, 2019, 16(6)[2020-10-05]. https://iopscience.iop.org/article/10.1088/1741-2552/ab2b7d. |
| [6] | Chen X G, Chen Z K, Gao S K, et al. A high-ITR SSVEP-based BCI speller[J]. Brain-Computer Interfaces, 2014, 1(3/4): 181-191. |
| [7] | Chen X G, Wang Y J, Nakanishi M, et al. High-speed spelling with a noninvasive brain-computer interface[J]. Proceedings of the National Academy of Sciences of the United States of America, 2015, 112(44): E6058-E6067. DOI:10.1073/pnas.1508080112 |
| [8] | 徐光华, 张锋, 谢俊, 等. 稳态视觉诱发电位的脑机接口范式及其信号处理方法研究[J]. 西安交通大学学报, 2015, 49(6): 1-7, 108. (Xu Guang-hua, Zhang Feng, Xie Jun, et al. Brain-computer interface paradigms and signal processing strategy for steady state visual evoked potential[J]. Journal of Xi'an Jiaotong University, 2015, 49(6): 1-7, 108.) |
| [9] | Volosyak I. SSVEP-based Bremen-BCI interface—boosting information transfer rates[J/OL]. Journal of Neural Engineering, 2011, 8(3)[2020-10-05]. https://iopscience.iop.org/article/10.1088/1741-2560/8/3/036020. |
| [10] | 王春慧, 江京, 李海洋, 等. 基于动态自适应策略的SSVEP快速目标选择方法[J]. 清华大学学报(自然科学版), 2018, 58(9): 788-795. (Wang Chun-hui, Jiang Jing, Li Hai-yang, et al. High-speed target selection method for SSVEP based on a dynamic stopping strategy[J]. Journal of Tsinghua University(Science and Technology), 2018, 58(9): 788-795.) |
| [11] | Russo F D, Spinelli D. Electrophysiological evidence for an early attentional mechanism in visual processing in humans[J]. Vision Research, 1999, 39(18): 2975-2985. DOI:10.1016/S0042-6989(99)00031-0 |
| [12] | Wu C H, Lakany H. The effect of the viewing distance of stimulus on SSVEP response for use in brain-computer interfaces[C]// IEEE International Conference on Systems, Man, and Cybernetics. Manchester, 2013: 1840-1845. |
| [13] | ?etin V, Ozekes S, Varol H S. Harmonic analysis of steady-state visual evoked potentials in brain computer interfaces[J]. Biomedical Signal Processing and Control, 2020, 60: 101999. DOI:10.1016/j.bspc.2020.101999 |
| [14] | Liu W Q, Zhang L, Li C S. A method for recognizing high-frequency steady-state visual evoked potential based on empirical modal decomposition and canonical correlation analysis[C]//Proceedings of 2019 IEEE 3rd Information Technology, Networking, Electronic and Automation Control Conference. Chengdu, 2019: 774-778. |
| [15] | Wang Y J, Nakanishi M, Wang Y T, et al. Enhancing detection of steady-state visual evoked potentials using individual training data[C/OL]// 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society[2020-10-20]. https://dx.doi.org/10.1109/EMBC.2014.6944263. |
| [16] | Wong C M, Wan F, Wang B Y, et al. Learning across multi-stimulus enhances target recognition methods in SSVEP-based BCIs[J]. Journal of Neural Engineering, 2020, 17(1): 016026. DOI:10.1088/1741-2552/ab2373 |
