基于知识蒸馏的自适应多领域情感分析

杨修远,彭韬,杨亮^*,林鸿飞

大连理工大学计算机科学与技术学院, 辽宁 大连 116023

出版日期:2021-06-20发布日期:2021-06-24

作者简介:杨修远(1995— ),女,河南南阳人,硕士研究生,主要研究方向为情感分析. E-mail:liang@dlut.edu.cn. *通信作者简介:杨亮(1986— ),男,辽宁大连人,讲师,博士,主要研究方向为情感分析,意见挖掘. E-mail:815754134@qq.com
基金资助:国家重点研发计划资助项目(2018YFC0830604);国家自然科学基金资助项目(61702080,61806038);中央高校基本科研业务费专项(DUT19RC(4)016);中国博士后基金资助项目(2018M631788)

Adaptive multi-domain sentiment analysis based on knowledge distillation

YANG Xiuyuan, PENG Tao, YANG Liang^*, LIN Hongfei

College of Computer Science and Technology, Dalian University of Technology, Dalian 116023, Liaoning, China

Online:2021-06-20Published:2021-06-24

摘要/Abstract

摘要： 提出一种自适应多领域知识蒸馏框架,有效地加速推理和减小模型参数同时确保模型性能,采用知识蒸馏方法对情感分析问题进行研究。针对每个特定领域进行知识蒸馏,模型蒸馏涉及词嵌入层蒸馏、编码层蒸馏(注意力蒸馏、隐藏状态蒸馏)、输出预测层蒸馏等多个方面;针对不同领域,学生模型保持相同的编码器,即共享权重,通过不同的领域特定输出层拟合不同的教师模型。在多个公开数据集上的试验结果表明,单领域知识蒸馏使得模型准确度平均提升2.39%,多领域知识蒸馏使得模型准确度平均提升0.5%。与单领域的知识蒸馏相比,该框架增强了学生模型的泛化能力,提升了性能。


PDF全文下载地址:

http://gxbwk.njournal.sdu.edu.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=2033