, 施瀚, 陈佳伟 东北大学 计算机科学与工程学院, 辽宁 沈阳 110169
收稿日期：2022-11-23
基金项目：中央高校基本科研业务费专项资金资助项目(2020GFZD014)。
作者简介：赵海(1959-), 男, 辽宁沈阳人, 东北大学教授, 博士生导师。
摘要：脑电信号作为最能表征人体情绪的信号, 正在成为情感识别的主流信号源.利用迁移学习可以克服生理信号源域、目标域间存在分布差异的问题.传统迁移学习由于缺少对样本、特征的选择过程, 会对迁移效果产生负影响, 致使识别率较低.为提升迁移效果, 在样本、特征两个方面对迁移数据进行优化.介绍了一种基于Like值的实例筛选方法, 以及基于粒子群优化的自动特征选择方法, 并使用联合分布适配(joint distribution adaptation, JDA), 提出了一种应用于情感识别的迁移学习框架.在SEED数据集上构建了两个迁移任务并进行验证, 结果表明, 该框架可以有效提升迁移效果, 提高跨域情感识别准确率.
关键词：情感识别迁移学习样本筛选特征选择脑电信号
A Transfer Learning Framework for EEG Emotion Recognition
ZHAO Hai, WANG Xiang
, SHI Han, CHEN Jia-wei School of Computer Science & Engineering, Northeastern University, Shenyang 110169, China
Corresponding author: WANG Xiang, E-mail: xz128034@foxmail.com.
Abstract: As the most representative signal of human emotion, EEG signal is becoming the mainstream signal source of emotion recognition. Transfer learning can overcome the problem of distribution difference between physiological signal source domain and target domain. The traditional transfer learning will have a negative impact on the transfer effect due to the lack of the selection process of samples and features, resulting in a low recognition rate. In order to improve the migration effect, this paper optimizes the migrated data in two aspects: samples and characteristics. A case selection method based on like value and an automatic feature selection method based on particle swarm optimization are introduced. Using JDA, a transfer learning framework for emotion recognition is proposed. Finally, two transfer learning tasks are constructed on the SEED dataset for verification. The results show that the framework can effectively improve the transfer effect and improve the accuracy of cross domain emotion recognition.
Key words: emotion recognitiontransfer learningsample selectionfeature selectionEEG signal
情感是一种人类的感受和意向, 它可以通过一定的载体显性或隐性地表达出来.情感识别经由视频、音频等系统对人类感情变动所产生的生理特点、姿势、手势与语调等波形的变动展开详细分析与辨识, 继而深刻理解人的情感并列出清晰适时的回应.随智能机器的发展, 人机交互已不仅仅局限于语言、文字上的交流, 还应包括情绪上的碰撞.在社交媒体平台中, 可以通过文本数据提取用户情绪, 有利于数字监控和在线信息推送.在医学领域, 可以通过分析生理信号来识别患者情绪并提供适当治疗.
当人们被激发出某种情感时, 人体生理信号也会做出适时波动, 计算机通过情感识别模型分析这些变化得到人体所处的情绪状态.生理信号因受交感神经系统控制不会被主观抑制或掩盖[1], 更能客观、准确地表达情绪.常见的用于情感识别的生理信号包括脑电信号(EEG)、心电信号(ECG)、皮肤电信号(GSR)、肌电信号(EMG)、皮肤温度(ST)和眼动信号(EOG)等, 这些数据已被广泛用于检测人类情绪.Li等[2]将EEG划分为5个频带, 证明了31~50 Hz频率的γ频带与情感状态更相关.Fadi等[3]使用卷积神经网络(convolutional neural network, CNN)对GSR信号进行情感识别.Yin等[4]利用深度学习在EEG信号上获得了较高的识别准确率.
使用传统分类模型识别情感存在两个问题：传统机器学习要求训练数据与测试数据是独立同分布的, 而在生理信号采集过程中由于个体不同, 采集时间不同, 情绪激发素材不同致使情感识别的数据分布存在差异, 直接使用传统模型的识别精度不高.随人们愈发注重对隐私的保护, 很难获得带有足够标签的数据.
迁移学习放宽了传统机器学习中训练数据和测试数据必须服从独立同分布约束, 因而能够在彼此不同但又相互关联的两个领域间挖掘领域不变的本质特征和结构[5], 使同一领域但不同分布的含标签数据仍然可以使用.在迁移学习中, 若域间分布差异过大, 会让已有的经验知识对新知识的学习起到负面影响[6], 也被称为负迁移现象.表征情感的生理信号采集十分复杂, 需要专业的可穿戴设备, 严格的无噪环境, 要求受试者全神贯注激发情绪, 因此采集到的生理信号难免存在噪声样本.在特征提取阶段, 由于特征提取的盲目性, 使得所提特征并非皆为有利于迁移的特征.过多的特征会引起维数灾难[7], 对于小样本数据, 在高维空间会变得稀疏, 学习算法可能出现过拟合.本文在传统迁移算法的基础上, 增加了对样本的筛选过程, 使用Like值作为样本衡量标准.增加了特征选择过程, 引入粒子群优化算法自动选择有利于迁移的最优特征子集.提出了基于样本、特征选择的迁移学习情感识别框架, 并将该框架应用于两个真实世界基于脑电信号的情感分类迁移学习任务上, 结果表明本文提出情感识别方法可以有效提升迁移效果并提高识别准确率.
1 相关工作情感识别问题因信号采集困难, 情绪激发条件严苛, 以致很难得到充足的带标签数据.由于个体间差异, 直接训练这些带标签数据得到的模型并不适用于所有的测试集.迁移学习因不要求训练数据与测试数据具有相同的概率分布, 这让情感识别得到更好的发展.目前应用迁移学习的情感识别大部分趋向于基于语音信号的跨语库研究[8-10].对生理信号的迁移主要集中于Zheng等[11-12]的工作.对于两个不同分布的特征空间, 分别记为源域Dts、目标域Dtt.其中源域是带标签的数据, 目标域是不含标签或只含有少量标签的数据[13], 本文着眼于目标域不含标签的情况.表 1列出了具体符号说明，常见的迁移学习算法大多是基于特征空间的迁移.通过最小化源域和目标域的概率分布距离以使二者分布尽可能相似, 常用来衡量概率分布距离的工具有KL散度、JS距离和最大均值差异[14](maximum mean discrepancy, MMD), 也称MMD距离.基于此思想, Pan等[15]提出了迁移成分分析(transfer component analysis, TCA).TCA采用MMD距离衡量源域和目标域的概率分布差异, 它的成立基于以下假设：对于分布不同的样本空间, 其边缘分布P(Xs)≠P(Xt), 仍存在新的特征空间映射φ使得P(φ(Xs))≈P(φ(Xt)).当P(φ(Xs))≈P(φ(Xt))时, 其条件分布也满足P(Ys|(Xs))≈P(Y1|φ(Xt)), 故TCA通过最小化MMD距离来寻找期望的映射φ.Lan等[16]使用TCA在EEG信号上进行情感识别, 结果较传统机器学习提升了7.25 %~13.40 %.Long等[17]在拉近边缘概率分布的同时也考虑了条件概率分布, 提出了联合分布适配(joint distribution adaptation, JDA), JDA需要不断迭代生成目标域伪标签以获得目标域的条件分布.表 2整理了近年来使用迁移学习在脑电信号情感识别领域的相观研究文献, 不难发现, 虽然迁移学习的研究十分火热, 但将之应用于脑电信号的情感识别尚是一个新的领域.
表 1(Table 1)
 表 1 迁移学习的符号及说明Table 1 Symbols and descriptions of transfer learning
| 表 1 迁移学习的符号及说明 Table 1 Symbols and descriptions of transfer learning |
表 2(Table 2)
表 2 基于迁移学习的脑电信号情感识别研究现状Table 2 Research status of emotion recognition of EEG signals based on transfer learning
| 表 2 基于迁移学习的脑电信号情感识别研究现状 Table 2 Research status of emotion recognition of EEG signals based on transfer learning |
为了减小噪声样本对迁移效果的负影响, 可以在迁移时对样本进行清洗, 迁移联合适配(transfer joint matching, TJM)即在TCA基础上增加了实例选择过程.通过增大有用样本的权重, 降低无用样本权重来提升迁移效果.TJM需要目标域中存在少量可用标签作为指导, 与JDA均属于有监督的迁移学习.目前已有大量的特征选择算法被提出, 如最小冗余最大相关(min-redundancy and max-correlation, mRMC)准则, 但它们仅是在训练集来选择有利于分类的特征子集, 而并未考虑特征对迁移的影响.
2 算法介绍本文提出了基于Like值的样本选择(sample selection using like, SSUL)算法, 以及基于粒子群优化的自动选择特征(auto select feature using PSO, ASF-PSO)算法.一方面剔除不利于迁移的噪声样本, 提升迁移效果；另一方面, 选择有利于迁移的特征, 在进一步提升迁移效果的同时, 降低特征维度, 防止维数灾难的发生.最后在这两种算法的基础上提出了一种基于迁移学习的情感识别框架[24-27].
2.1 基于Like值的样本选择若目标域的样本均出现在源域中, 则只需剔除源域中多余的样本就可使二者的分布完全一致, 虽然这是一种理想的状态, 但也为衡量样本-域的相似性提供了启示.Like计算了源域样本xi的|T|个最近邻的平均欧氏距离, 如式(1)所示：
 | (1) |
记|T|个样本构成样本集T, 源域的每个样本xi都会产生一个与之对应的Like值.Like值越大, 则xi到Dtt的距离越小, 即样本-域间的相似性越大.Like值越小, 代表xi到Dtt的距离越大, 则有理由将这部分样本进行剔除.样本选择过程见算法1.
| 算法?1??SSUL |
| 输入： |
| ????源域：Dts={xi, yi}i=1n1 |
| ????目标域：Dtt={xj}j=1n2； |
| ????参数：|T|； |
| ????样本集个数：s； |
| 过程： |
| 1.for Dts中的每个样本xi do: |
| 2.寻找|T|个近邻样本T={xj}j=1|T|； |
| 3.根据式(1)计算xi到T的Like值； |
| 4.end |
| 5.所有xi∈Dts按Like值降序排列； |
| 5.选择Dts中前s个样本； |
| 输出： |
| ????新源域Dts. |
2.2 基于粒子群优化的自动选择特征源域Dts和Dtt目标域相同特征的数据长度不一定相等, 因此无法像样本选择一样使用距离等数学工具来衡量特征间的相似度.本文引入粒子群优化算法(particle swarm optimization, PSO), 将特征子集的选择看作是一个搜索寻优问题, 通过生成不同的特征子集, 再与其它子集进行比较, 直到选择出最优的特征子集.
记源域Dts和目标域Dtt的特征空间为D, 即存在一个维度为D的搜索空间, 由m个特征子集组成粒子种群, 第i个粒子可表示为一个D维向量：
 | (2) |
 | (3) |
 | (4) |
 | (5) |
MMD距离计算了不同领域在无限维核空间中的均值差异, 被广泛用于衡量域间相似性, 距离越小说明域间相似性越大, MMD距离为
 | (6) |
 | (7) |
 | (8) |
 | (9) |
 | (10) |
 | (11) |
| 算法?2??ASF-PSO |
| 输入： |
| ????源域数据集：Ds={(xi)}i=1n1； |
| ????目标域数据集：Dtt={xj}j=1n2； |
| ????参数：c1, c2, w； |
| 过程： |
| 1.获取MMDinit，nfeatinit； |
| 2.初始化粒子, 种群数m, 位置fi, 速度vi |
| 3.while fit未收敛do |
| 4.????公式(4)更新粒子速度； |
| 5.????公式(5)更新粒子位置； |
| 6.????公式(11)计算fit值； |
| 7.end |
| 8.通过最优的fi得到特征子集； |
| 输出： |
| ????已选特征子集. |
2.3 情感识别框架联合分布适配(JDA)充分利用了源域中的标签信息, 在迁移的同时不断生成目标域伪标签来获得条件概率分布, 其性能要优于无监督的TCA算法.JDA通过最小化类与类之间的MMD距离得到映射矩阵W.类间MMD距离为
 | (12) |
 | (13) |
 | (14) |
 | (15) |
 | (16) |
 | (17) |
本文构建的情感识别框架如图 1所示, 生理信号包含带标签的源域和不含标签的目标域数据, 经必要的平滑去噪后提取特征.使用SSUL算法筛选源域中的样本, 消除噪声样本的干扰.使用ASF-PSO算法选择源域中有利于迁移的特征, 在降低特征维度的同时进一步提升迁移效果, 在目标域选择相同特征, 可由ASF-PSO算法生成的二进制编码fi快速选择.在应用JDA阶段使用W将源域和目标域映射至新的特征空间, 在新特征空间里使用支持向量机(support vector machine, SVM)作为分类器, 得到目标域的情感输出.
图 1(Fig. 1)
 | 图 1 情感识别框架Fig.1 Framework of emotion recognition |
3 实验结果与分析3.1 实验数据集为了验证所提情感识别框架的有效性, 本文在来自上海交通大学BCMI实验室的SEED[27]数据集上进行了测试.
SEED数据集利用15个中国电影片段(积极, 中性和负面情绪)作为情绪刺激材料.选取15位志愿者(7位男性, 8位女性), 每位志愿者分别在3个不同日期进行了3次实验, 每次实验相隔一周, 通过下采样得到1 350个样本.实验记录了志愿者情绪刺激时的脑电(EEG)信号, EEG信号的采集包括左、右半球各27个通道, 中间位置8个通道, 共计62个通道.信号划分为δ(1~3 Hz), θ(4~7 Hz), α(8~13 Hz), β(14~30 Hz), γ(31~50 Hz)5个频段.在特征提取阶段, 本文对每个波段提取了每一通道的差分熵(DE), 27个半球通道的有理不对称(RASM)和差分不对称(DASM)共计580个特征.这些特征在文献[28]被提出并被证明与情绪状态密切相关.
3.2 实验设置实验按个体、性别差异划分源域和目标域, 产生两个任务.个体差异(记为SEED1)：采用留一个主题的交叉验证方法进行评估, 实验进行15次, 结果取平均值, 每次对15名志愿者抽取14名作为源域, 剩余1名作为目标域.性别差异(记为SEED2)：将男性数据和女性数据各自作为源域、目标域, 进行两次实验, 结果取平均值.处理后的信息如表 3所示.
表 3(Table 3)
表 3 源域、目标域说明Table 3 Description of source domain and target domain
| 表 3 源域、目标域说明 Table 3 Description of source domain and target domain |
实验对照了直接学习的支持向量机(SVM)方法、基于特征匹配的迁移成分分析(TCA)方法、联合分布适配(JDA)方法、一种同样实现特征简约但非迁移的核主成分分析(KPCA)方法, 一种JDA的改进型算法(BDA)[29], 一种测地线流形核域自适应算法(GFK)[30], 以及一种同样包含特征选择的迁移学习框架(MDS-TFS-ARRLS)[31].将本文的SSUL算法、ASF-PSO算法与JDA分别组合使用, 进行了消融实验分析, 以探查样本选择、特征选择各自对迁移的影响.
SVM, TCA, KPCA, JDA, BDA中出现的核函数均使用高斯核函数, 算法SSUL中|T|=10, ASF-PSO中学习因子c1=c2=2, 权重w=1.种群初始数量设置为50, 当适应度函数值fit收敛时, 算法终止, 获得最优特征子集.分类阶段均使用SVM作为学习器.
3.3 ASF-PSO算法适应度函数分析ASF-PSO算法需要不断迭代来最小化适应度函数值, 以此找到最优的特征子集, 本节选取了SEED1任务及SEED2任务中的平均实验结果来说明本文适应度函数设置的合理性.
两次任务中ASF-PSO算法的迭代次数对适应度函数值与MMD距离的影响如图 2所示, 可知随迭代次数的增加, fit值与MMD距离均会趋近收敛, 每一次迭代后fit值均小于上一次迭代.MMD距离并不是严格递减的, 但整体呈下降趋势, 这是因为本文所提适应度函数在最小化MMD距离的同时也兼顾了对特征信息的保留, 防止特征简约的维数过多而引起信息丢失.图中蓝色标识代表源域和目标域的未进行特征选择时的MMD距离, 在迭代开始时寻找到的特征子集的MMD距离并不一定小于初始距离, 随迭代次数的增加, 新特征子集表现出的MMD距离将会小于初始距离, 这意味着算法找到了更优的特征子集.
图 2(Fig. 2)
 | 图 2 迭代次数对适应度值和距离的影响Fig.2 Influence of iteration times on fitness and distance (a)—Fit值；(b)—MMD距离；(c)—Fit值；(d)—MMD距离. |
3.4 实验结果分析实验以分类准确率作为评价指标, 利用SEED数据集提供的个体信息和性别信息构建两组迁移任务, 对比了6种公开算法, 分别是迁移成分分析(TCA)、核主成分分析(KPCA)、联合分布自适应(JDA)、平衡分布自适应(BDA)、测地线流形核自适应(GFK)以及一种同样包含特征选择的迁移学习框架(MDS-TFS-ARRLS), 同时给出了只使用SVM分类时的基线准确率.实验结果如表 4所示.
表 4(Table 4)
表 4 对比算法与本文算法的识别准确率Table 4 Recognition accuracy of the algorithm is compared with that in this paper ?
| 表 4 对比算法与本文算法的识别准确率 Table 4 Recognition accuracy of the algorithm is compared with that in this paper ? | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||
根据实验结果, 发现KPCA在两组任务上表现并不佳, 均取得了最低的识别准确率, 原因在于KPCA虽然实现了特征简约, 但并未考虑源域和目标域分布差异的影响, 导致特征简约后分布差异变得更大, 使准确率低于通用分类器SVM.
就任务SEED1而言, 未进行迁移时的SVM分类仅得到了52.78 % 的准确率.拉近边缘分布的TCA算法较SVM提升了10.28 %, 因JDA算法考虑了类内分布(即条件分布), 其迁移效果要优于TCA, 较通用分类器SVM提升了18.61 %, 取得了71.39 % 的准确率.BDA算法是JDA的改进型, 增加了用来平衡边缘分布和条件分布的权重因子, 其结果要略高于JDA.GFK算法低于基线水平, 说明此时出现了负迁移现象.MDS-TFS-ARRLS算法同时进行了源域选择和特征选择, 在源域选择中, 将每个独立用户均视为单一源域, 取得了最优的识别准确率, 较本文算法提升1.93 %.在本文提出的情感识别框架下(SSUL+ASF-PSO+JDA)取得了76.67 % 的准确率, 较直接使用SVM分类提升了23.89 %.
在任务SEED2中, 准确率整体低于任务SEED1, 原因在于SEED2中源域和目标域样本数量相差仅为90个, 致使SVM分类模型学习效果较差.同时发现直接使用迁移学习算法TCA, JDA, GFK均不如直接进行SVM分类, 也是由于源域和目标域样本数量相近, 导致源域并未包含过多的目标域信息, 即域间分布差异过大, 迁移时引起了负迁移.MDS-TFS-ARRLS算法由于进行了特征选择, 其准确率较基线提升3.24 %, 本文所提情感识别框架在SEED2中则取得了最高的准确率, 达到52.32 %, 较基线水平提升5.22 %, 较MDS-TFS-ARRLS提升1.98 %, 之所以在任务SEED2中本文框架表现出了较MDS-TFS-ARRLS算法更优的结果, 原因在于该任务仅存在一个源域, MDS-TFS-ARRLS的源域选择过程将不会发挥作用, 而本文框架仍可针对每个样本进行筛选.
本文框架可以有效提升情感识别准确率, 并对迁移学习中可能出现的负迁移现象具有一定缓解作用, 当源域仅存在一个时, 本文框架仍能更好工作.
3.5 消融实验分析本文所提情感识别框架包含样本选择和特征选择2个部分, 这两部分可相互独立, 为探查各部分对情感识别效果的影响, 进行了消融实验.表 5记录了只使用SSUL+JDA算法和只使用ASF-PSO+JDA算法以及二者同时使用时的分类准确率, 同时也给出仅依靠JDA时的基线标准以作对比.
表 5(Table 5)
表 5 消融实验结果Table 5 Ablation experimental results ?
| 表 5 消融实验结果 Table 5 Ablation experimental results ? | |||||||||||||||||||||||||||||||||||||||||||||
由表 5可知, 只单独进行样本选择和特征选择时, 其准确率均要高于基线水平.在任务SEED1中, SSUL+JDA的效果要优于只使用ASF-PSO+JDA, 但在任务SEED2中, ASF-PSO+JDA的效果要更好, 这说明无论是进行样本选择亦或是特征选择均可有助于提升迁移效果.二者同时使用时, 可对最终结果有一明显提升.使用ASF-PSO算法进行特征选择的作用不应局限于提高识别准确率的角度, 还可对有用特征进行标记, 后续在处理类似任务时可着重提取已被标记的特征.
3.6 参数敏感性分析在本文提出的SSUL算法中, 需要提前设置选择的样本数量s.该数值会对最终情感识别结果产生影响, 将s作为敏感参数进行分析, 因单个样本的加入对分类模型并不会造成跳跃式影响, 因此以百分比的形式选择前100 % 到前80 % 样本数范围内进行寻优, 每1 % 作为一个取样点, 在任务SEED1和任务SEED2中使用SSUL+JDA时的准确率如图 3所示.
图 3(Fig. 3)
 | 图 3 样本数量对准确率的影响Fig.3 Effect of the number of samples on the accuracy |
由图 3可知, 当选择的样本数量逐渐减少时, 准确率会逐渐提升, 这是因为删除了部分噪声样本导致的, 但并不意味着准确率会一直升高, 若无节制的对样本进行删除, 准确率会明显下降, 如同图中后半部分的表现, 这是因为删除了过多样本会使源域出现信息丢失, 是分类模型欠拟合导致的.当选择样本数为90 % 源域样本数量时, 在两个任务上均能得到不错的效果.
4 结论与展望1) 本文针对生理信号情感识别问题提出了一种基于样本、特征选择的迁移学习情感识别框架, 提出了SSUL样本选择方法和ASF-PSO特征选择方法.
2) 实验表明应用迁移学习可以克服情感识别问题中源域和目标域不服从独立同分布的问题；本文所提情感识别框架可以有效提升迁移效果, 进一步提高情感识别准确率.
3) 当域间分布差异过大时, 直接使用迁移学习会引起负迁移现象；本文所提情感识别框架可以有效缓解负迁移, 使迁移得以正向进行.
本文算法仍存不足之处, 如在SSUL算法中若源域样本数量过少, 仍然使用SSUL删除部分样本可能会造成信息丢失.在ASF-PSO算法中, 当特征维度很大时, 算法容易陷入局部最优, 这是未来要解决的问题.
参考文献
| [1] | Fan X L, Yan Y, Wang X M, et al. Emotion recognition measurement based on physiological signals[C]//2020 13th International Symposium on Computational Intelligence and Design (ISCID). Hangzhou, 2020: 81-86. |
| [2] | Li M, Lu B L. Emotion classification based on gamma-band EEG[C]//2009 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Minneapolis, 2009: 1223-1226. |
| [3] | Fadi F, Elmachot A, Ali M, et al. A deep-learning model for subject-independent human emotion recognition using electrodermal activity sensors[J]. Sensors, 2019, 19(7): 1-14. DOI:10.1109/JSEN.2019.2897416 |
| [4] | Yin Y Q, Zheng X W, Hu B, et al. EEG emotion recognition using fusion model of graph convolutional neural networks and LSTM[J]. Applied Soft Computing, 2021, 21(100): 106954. |
| [5] | 龙明盛. 迁移学习问题与方法研究[D]. 北京: 清华大学, 2014. (Long Ming-sheng. Transfer learning: problems and methods[D]. Beijing: Tsinghua University, 2014. ) |
| [6] | 李永盛, 何佳洲, 赵国清, 等. 关于迁移学习中负迁移方向研究[J]. 指挥控制与仿真, 2020, 42(4): 28-33. (Li Yong-sheng, He Jia-zhou, Zhao Guo-qing, et al. The research on negative transfer in transfer learning[J]. Command Control & Simulation, 2020, 42(4): 28-33.) |
| [7] | Kumar V, Minz S. Multi-view ensemble learning: an optimal feature set partitioning for high-dimensional data classification[J]. Knowledge and Information Systems, 2016, 18(49): 1-59. |
| [8] | Feng K, Chaspari T. A review of generalizable transfer learning in automatic emotion recognition[J]. Frontiers in Computer Science, 2020, 14(2): 1-9. |
| [9] | Hazarika D, Poria S, Zimmermann R, et al. Conversational transfer learning for emotion recognition[J]. Information Fusion, 2021, 20(65): 1-12. |
| [10] | Zhang W, Song P. Transfer sparse discriminant subspace learning for cross-corpus speech emotion recognition[J]. IEEE/ACM Transactions on Audio Speech and Language Processing, 2019, 6(28): 307-318. |
| [11] | Zheng W L, Lu B L. Personalizing EEG-based affective models with transfer learning[C]//Proceedings of the Twenty-fifth International Joint Conference on Artificial Intelligence. New York, 2016: 2732-2738. |
| [12] | Zheng W L, Zhang Y Q, Zhu J Y, et al. Transfer components between subjects for EEG-based emotion recognition[C]//2015 International Conference on Affective Computing and Intelligent Interaction (ACII). Xi'an: IEEE, 2015: 917-922. |
| [13] | Pan S J, Yang Q. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359. DOI:10.1109/TKDE.2009.191 |
| [14] | Borgwardt K M, Gretton A, Rasch M J, et al. Integrating structured biological data by kernel maximum mean discrepancy[J]. Bioinformatics, 2006, 22(14): 49-57. DOI:10.1093/bioinformatics/btl242 |
| [15] | Pan S J, Tsang I W, Kwok J T, et al. Domain adaptation via transfer component analysis[J]. IEEE Transactions on Neural Networks, 2011, 22(2): 199-210. DOI:10.1109/TNN.2010.2091281 |
| [16] | Lan Z, Sourina O, Wang L, et al. Domain adaptation techniques for EEG-based emotion recognition: a comparative study on two public datasets[J]. IEEE Transactions on Cognitive and Developmental Systems, 2018, 11(1): 85-94. |
| [17] | Long M S, Wang J M, Ding G G, et al. Transfer feature learning with joint distribution adaptation[C]//Proceedings of the IEEE International Conference on Computer Vision. Sydney, 2013: 2200-2207. |
| [18] | Chai X, Wang Q, Zhao Y, et al. Unsupervised domain adaptation techniques based on auto-encoder for non-stationary EEG-based emotion recognition[J]. Computers in Biology and Medicine, 2016, 46(79): 205-214. |
| [19] | Lin Y P, Jung T P. Improving EEG-based emotion classification using conditional transfer learning[J]. Frontiers in Human Neuroscience, 2017, 10(11): 334. |
| [20] | Chai X, Wang Q, Zhao Y, et al. A fast, efficient domain adaptation technique for cross-domain electroencephalography (EEG)-based emotion recognition[J]. Sensors, 2017, 17(5): 1014. DOI:10.3390/s17051014 |
| [21] | Lin Y P. Constructing a personalized cross-day EEG-based emotion-classification model using transfer learning[J]. IEEE Journal of Biomedical and Health Informatics, 2019, 24(5): 1255-1264. |
| [22] | Li J, Qiu S, Shen Y Y, et al. Multisource transfer learning for cross-subject EEG emotion recognition[J]. IEEE Transactions on Cybernetics, 2019, 50(7): 3281-3293. |
| [23] | Zhou J, Chu S, Li X, et al. An EEG emotion recognition method based on transfer learning and echo state network for HilCPS[J]. Microprocessors and Microsystems, 2021, 87(11): 1-10. |
| [24] | Long M S, Wang J M, Ding G G, et al. Transfer joint matching for unsupervised domain adaptation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus, 2014: 1410-1417. |
| [25] | Peng H C, Long F H, Chris D. Feature selection based on mutual information criteria of max-dependency, max-relevance, and min-redundancy[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(8): 1226-1238. DOI:10.1109/TPAMI.2005.159 |
| [26] | Sun S L, Shi H L. Bayesian multi-source domain adaptation[C]//2013 International Conference on Machine Learning and Cybernetics. Tianjin, 2013: 24-28. |
| [27] | Zheng W L, Lu B L. Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks[J]. IEEE Transactions on Autonomous Mental Development, 2015, 7(3): 162-175. DOI:10.1109/TAMD.2015.2431497 |
| [28] | Zheng W L, Liu W, Lu Y F, et al. EmotionMeter: a multimodal framework for recognizing human emotions[J]. IEEE Transactions on Cybernetics, 2019, 49(3): 1110-1122. |
| [29] | Wang J, Chen Y, Hao S, et al. Balanced distribution adaptation for transfer learning[C]//2017 IEEE International Conference on Data Mining (ICDM). New Orleans, 2017: 1129-1134. |
| [30] | Gong B, Shi Y, Sha F, et al. Geodesic flow kernel for unsupervised domain adaptation[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, 2012: 2066-2073. |
| [31] | 娄晓光, 陈兰岚, 宋振振. 基于多源域迁移学习的脑电情感识别[J]. 计算机工程与设计, 2020, 41(7): 2011-2018. (Lou Xiao-guang, Chen Lan-lan, Song Zhen-zhen. EEG emotion recognition based on multi-source domain transfer learning[J]. Computer Engineering and Design, 2020, 41(7): 2011-2018.) |
